首页 云原生大数据计算服务 MaxCompute 数据传输与迁移 数据传输 购买与使用独享数据传输服务资源组

购买与使用独享数据传输服务资源组

MaxCompute为您提供独享数据传输服务资源组,本文为您介绍如何购买、使用独享数据传输服务资源组。

背景信息

MaxCompute当前在各个地域均为您提供了免费的公共数据传输服务资源组,为该地域下所有客户提供数据传输服务,同时也为您提供了独享数据传输服务资源组(包年包月),以提供更好的数据同步稳定性和同步的并发数。两类资源组的对比介绍如下。
资源组类型费用说明支持的地域使用注意事项
公共数据传输服务资源组免费当前MaxCompute的所有地域
  • 资源有限。

    由于架构设计的限制,数据传输服务共享资源组天然不能给每个租户保障资源,在特殊时间段极小概率下,用户可能会获取不到共享资源组的资源,导致用户作业提交失败。

  • 可使用最大并发数受限。

    为了保障公共资源可提供稳定的服务,对每个客户可使用的最大并发数做了限制,且不同地域下最大并发数限制值不同。

独享数据传输服务资源组(包年包月)包年包月,按购买并发数的数量计费,计费详情见下文独享数据传输服务资源组定价
  • 华东1(杭州)
  • 华北2(北京)
  • 华东2(上海)
  • 华南1(深圳)
购买独享数据传输服务资源组后,MaxCompute会保障您的资源独享,购买的资源会完全锁定仅供您使用,其它租户不能使用。保障了数据传输资源的独享性,也提高数据传输的稳定性。

检查网络与地域条件

购买使用独享数据服务资源组前,您需要检查当前的网络和地域条件是否满足要求,独享输出传输服务资源组在数据传输上对网络和地域有以下限制:

  • 只支持云上VPC网络访问,暂时不支持公共网络访问。

  • 只支持同地域的数据传输服务,暂时不支持跨地域的数据传输服务,您需要根据数据传输任务的地域购买对应地域的资源组。

说明

数据传输服务其他使用限制请参考数据传输服务使用限制

购买独享数据服务资源组

  1. 登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏单击配额(Quota)管理

  2. Quota管理页面单击新购Quota,进入资源购买页面,并根据界面提示配置购买参数。其中关键参数如下。

    参数名称

    说明

    规格类型

    选择数据传输服务

    数据传输服务并发

    选择您要购买的并发数。

    说明

    目前并发数是100并发起卖,增量购买需要是1的整数倍。

  3. 单击立即购买,根据界面提示勾选服务协议并支付费用,完成资源组的购买。

    购买完成后返回控制台,在Quota管理页面将会出现一个Quota类型传输服务的Quota组,在该Quota组上可以进行升级降配续费操作,升级与降配的策略请参见升级与降配

使用独享数据服务资源组

您可以选择在项目级任务级指定使用什么资源组来运行数据传输任务。

  • 项目级:

    为整个项目的所有数据传输任务指定使用公共资源组还是独享资源组、指定默认的资源组是哪个资源组。

  • 任务级:

    在数据传输任务代码或者数据集成任务中指定当前任务使用哪个资源组。

配置资源组:项目级

项目级别设置默认数据传输服务资源组,并将开启成默认数据服务资源组状态置为开启

  1. 登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏选择数据管理 > 项目管理

  2. 项目管理页面选择您要绑定Quota组的项目,单击操作列的管理后,单击基础信息区域的编辑

  3. 数据传输服务下拉列表中选择您需要绑定的数据传输服务资源组。

    可以绑定默认公共资源组(default),也可以选择购买的独享资源组。

    数据传输服务资源组

    是否开启成默认数据传输服务

    说明

    default

    -

    • 默认资源组:公共数据传输服务资源组

    • 单个任务资源组切换:不支持修改单个任务的资源组类型。

    即该项目下所有发起的数据传输任务都将使用公共数据传输服务资源组,并且不能使用独享资源组。

    独享资源组

    • 默认资源组:独享数据传输服务资源组

    • 单个任务资源组切换:在SDK或者数据集成中提交任务时手工指定QuotaName为default。

    • 默认资源组:独享数据传输服务资源组

    • 单个任务资源组切换:在SDK或者数据集成中提交任务时手工指定QuotaName为独享资源组的名称。

    说明
    • 已经在使用公共资源组的Project,推荐将开启成默认数据传输服务状态置为关闭,用户自己控制现有任务切换到独享资源组。

    • 没有数据传输服务流量的Project,推荐将开启成默认数据传输服务状态置为打开,直接使用独享资源组。

配置资源组:任务级

在数据传输服务任务的SDK中手工指定Quota组。

--使用Quota名称为XXX的资源组进行数据传输服务。
final TableTunnel tunnel = new TableTunnel(odps);
tunnel.getConfig().setQuotaName("xxx");
TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName);

--可以获取到session实际在使用的资源组
up.getQuotaName();

查看资源组指标

您可以查看当前数据传输服务(包年包月)独享资源组的使用情况,在Quota管理对应的独享资源组上单击资源消耗后,进入指标查看页面。

指标名称说明
请求并发数当前资源组请求并发的曲线图,包括上传,下载和总并发数。
吞吐量(B/S)当前资源组吞吐量的曲线图,包括上传和下载。
错误(500)个数当前资源组发生500错误的个数的曲线图。
表访问热度Top5当前资源组里使用并发数最大的前5张表的曲线图。
访问来源IPTop5(B/S)当前资源组里使用并发数最大的前5个请求IP地址的曲线图。
阿里云首页 云原生大数据计算服务 MaxCompute 相关技术圈