数据传输服务概述

使用分类

• 命令。

  目前命令只能通过MaxCompute客户端（odpscmd）执行。

• 批量操作。

  普通Tunnel可以对数据进行离线批操作，对数据进行上传与下载，包括单表数据上传下载和查询实例下载。

• 流式操作。

  Stream Tunnel可以对流式数据做数据微批的方式写入表。

产品架构

数据传输服务产品架构图如下，目前一个Region只有一个数据传输服务共享资源组，资源被该Region所有用户共享使用，对每个租户有并发上限限制。数据传输服务（包年包月）独享资源组需要用户单独购买，您可以购买一个或者多个独享资源组，购买后独享资源组被您独享使用。同时您可以手工指定独享资源组来执行数据传输任务。如果没有特别指定，会读取项目上默认的独享资源组执行数据传输服务。

使用方式

数据传输服务使用限制

• 批量数据通道使用限制说明。
  • 批量数据上传。

    限制项	限制说明
    UploadSession生命周期	24小时。
    单UploadSession写入Block个数	20000个。
    单Block写入速度	10 MB/s。
    单Block写入数据量	100 GB。
    单表创建UploadSession数	每5分钟500个。
    单表写入Block数	每5分钟500个。
    单表并发提交UploadSession数	32个。
    并发写入Block数	受Slot并发数限制，单次Block写入占用一个Slot。
    并发写入	MaxCompute会根据ACID进行并发写入的保障。关于ACID的具体语义请参见ACID语义。

  • 批量数据下载。

    限制项	限制说明
    DownloadSession生命周期	24小时。
    InstanceDownloadSession生命周期	24小时，受实例生命周期限制。
    单Project创建InstanceDownloadSession数	每5分钟200个。
    单表创建DownloadSession数	每5分钟200个。
    单次下载请求速度	10 MB/s。
    并发创建DownloadSession数	受Slot并发数限制，单次创建DownloadSession占用一个Slot。
    并发创建InstanceDownloadSession数	受Slot并发数限制，单次创建InstanceDownloadSession占用一个Slot。
    并发下载请求数	受Slot并发数限制，单次数据下载请求占用一个Slot。

• 流式数据通道使用限制说明。

  限制项	限制说明
  单Slot写入速度	1 MB/s。
  单Slot写入请求数	每秒10个。
  单表并发写入分区数	64个。
  单分区最大可用Slot数	32个。
  StreamUploadSession占用Slot数	受Slot并发数限制，创建StreamUploadSession时指定Slot数。

• 上传数据限制。
  • 每个字段的大小不能超过该字段本身的限制，详情请参见数据类型版本说明。
    说明 STRING类型的字段大小不能超过8 MB。
  • 上传的过程中会将多条数据打包成一个Package进行上传。
• 数据传输网络限制（独享资源组）。
  • 只支持云上VPC网络访问，暂时不支持公共网络访问。
  • 只支持同Region的数据传输服务，暂时不支持跨Region的数据传输服务。

数据传输服务共享资源组说明

数据传输服务有效状态码