数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何在DataWorks配置MaxCompute同步任务时指定您购买的独享数据传输资源。

注意事项

  • 若要使用MaxCompute独享传输服务,您需要在配置数据集成同步任务时指定独享传输资源组,否则将使用默认的公共传输资源组。
  • 若在配置MaxCompute数据源时配置了Tunnel Endpoint属性,则在DataWorks上配置同步任务时,不支持指定独享传输资源组,实际同步任务运行时会使用指定地址对应的传输资源。
  • 若同步任务需要使用独享传输资源,则您在配置MaxCompute数据源时需要将ODPS Endpoint指定为包含Region的非公网地址,目前未包含Region的地址或者公网地址将不支持使用独享传输资源,如下图所示:编辑资源
  • 若配置MaxCompute数据源时,指定的ODPS Endpoint地址是跨Region的(和DataWorks不在同Region),则在配置MaxCompute同步任务时,向导模式将不支持选择Tunnel资源组,脚本模式下配置Tunnel资源组后将不生效。

购买独享数据传输资源

购买详情请参见购买与使用独享数据传输服务资源组

说明 购买独享传输资源组后,需要绑定该资源组至要同步的MaxCompute项目上,如果DataWorks为标准模式工作空间,则需要分别在开发和生产环境的MaxCompute项目绑定您购买独享传输资源组。详情请参见使用独享数据服务资源组

离线同步任务使用独享传输资源

单表离线同步任务使用独享传输资源

进入数据开发界面,打开或新建离线同步任务节点,在MaxCompute数据源的Tunnel资源组属性中,选择独享传输资源组。Tunnel资源组默认值为公共传输资源组。tunnel资源组如果您没有可用的独享传输资源组,支持您单击右侧新购买跳转到购买页面选择数据传输服务进行购买,您需要注意所选的区域是否符合预期。购买资源组

整库离线同步解决方案使用独享传输资源

进入同步解决方案,打开或新建一键整库离线同步任务,在运行资源设置步骤的通道设置 > Tunnel资源组属性中,选择独享传输资源组。整库离线

实时同步任务使用独享传输资源

单表实时同步任务使用独享传输资源

进入数据开发,打开或创建实时同步节点,单击MaxCompute节点,在右侧弹出的节点配置面板中的Tunnel资源组属性中,选择独享传输资源组。ETL

整库实时同步任务使用独享传输资源

进入数据开发,打开或新建整库同步任务,在运行资源设置步骤的Tunnel资源组属性中,选择独享传输资源组。整库实时

一键实时同步解决方案使用独享传输资源

进入同步解决方案,打开或新建一键实时同步任务,在运行资源设置步骤的Tunnel资源组属性中,选择独享传输资源组。一键实时