购买与使用独享数据传输服务资源组

当您在MaxCompute中需要对大规模数据进行传输且对传输稳定性和延迟有要求时,您可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件,以减少传输时间并提高效率。本文为您介绍如何购买、使用独享数据传输服务资源组。

背景信息

MaxCompute当前在各个地域均为您提供了免费的公共数据传输服务资源组,为该地域下所有客户提供数据传输服务,同时也为您提供了独享数据传输服务资源组(包年包月),以提供更好的数据同步稳定性和同步的并发数。两类资源组的对比介绍如下。

资源组类型

费用说明

支持的地域

使用注意事项

公共数据传输服务资源组

免费

当前MaxCompute的所有地域

  • 资源有限。

    由于架构设计的限制,数据传输服务共享资源组天然不能给每个租户保障资源,在特殊时间段极小概率下,用户可能会获取不到共享资源组的资源,导致用户作业提交失败。

  • 可使用最大并发数受限。

    为了保障公共资源可提供稳定的服务,对每个客户可使用的最大并发数做了限制,且不同地域下最大并发数限制值不同。

独享数据传输服务资源组(包年包月)

包年包月,按购买并发数的数量计费,计费详情见下文独享数据传输服务资源组定价

  • 华东1(杭州)

  • 华北2(北京)

  • 华东2(上海)

  • 华南1(深圳)

  • 中国香港

  • 新加坡

  • 印度尼西亚(雅加达)

  • 美国(弗吉尼亚)

购买独享数据传输服务资源组后,MaxCompute会保障您的资源独享,购买的资源会完全锁定仅供您使用,其它租户不能使用。保障了数据传输资源的独享性,也提高数据传输的稳定性。

检查网络与地域条件

购买使用独享数据服务资源组前,您需要检查当前的网络和地域条件是否满足要求,独享输出传输服务资源组在数据传输上对网络和地域有以下限制:

  • 只支持云上VPC网络访问,暂时不支持公共网络访问。

  • 只支持同地域的数据传输服务,暂时不支持跨地域的数据传输服务,您需要根据数据传输任务的地域购买对应地域的资源组。

说明

数据传输服务其他使用限制请参考数据传输服务使用限制

购买独享数据服务资源组

  1. 登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏选择工作区 > 配额(Quota)管理

  2. Quota管理页面单击新购Quota,进入资源购买页面,并根据界面提示配置购买参数。其中关键参数如下。

    参数名称

    说明

    规格类型

    选择数据传输服务

    数据传输服务并发

    选择您要购买的并发数。

    说明

    目前并发数是50并发起卖,增量购买需要是1的整数倍。

  3. 单击立即购买,根据界面提示勾选服务协议并支付费用,完成资源组的购买。

    购买完成后返回控制台,在Quota管理页面将会出现一个Quota类型传输服务的Quota组,在该Quota组上可以进行升级降配续费操作,升级与降配的策略请参见升级与降配

使用独享数据服务资源组

在进行数据传输或数据集成作业时,您可以根据不同的业务需求,灵活指定作业使用的独享数据服务资源组,以提高数据处理效率。

  1. 通过本地客户端(odpscmd)或其他连接工具访问MaxCompute项目,启用独享数据传输服务资源组。

     setproject odps.tunnel.enable.quota.route.v2=true;
    说明

    请确保您的MaxCompute SDK版本已升级为V0.45或以上版本。

  2. 授权。

    当前针对作业级别指定Quota功能的鉴权默认是所有账号(包括阿里云账号)和角色都没有权限,需要进行授权操作。

    1. 新增角色。

      1. 登录MaxCompute控制台,在左上角选择地域。

      2. 在左侧导航栏单击租户管理

      3. 租户管理页面,单击角色管理

      4. 角色管理页签,单击新增角色

      5. 新增角色对话框,自定义角色名称和使用如下权限策略内容。

        {
            "Statement": [{
                    "Action": [
                        "odps:List",
                        "odps:Usage"],
                    "Effect": "Allow",
                    "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
            "Version": "1"
        }

        参数说明如下。

        参数

        说明

        Action

        指定被授予的操作权限名称。单次授权可以指定多个操作,可根据实际情况自行添加操作权限名称。当有多个操作时,多个操作名称之间使用半角逗号(,)分隔。操作取值请参见MaxCompute权限

        说明

        权限策略参数的详细内容请参见权限策略基本元素

        Resource

        指定被授权的资源范围,格式为["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]

        ["acs:odps:*:regions/*/quotas/*"]含义为当前租户下所有Region下的所有Quota,可根据实际情况自行选择具体Region和Quota。

      6. 单击确定,完成新增角色。

    2. 将角色授权给需要进行作业级别指定Quota的账号。

      说明

      默认主账号或者拥有账户级别(tenant)Super_Administrator的子账号可进行授权操作。

      由于授权对象的差别,会出现如下两种场景。

      • 对阿里云账号授权。

        目前需要通过如下命令对阿里云账号授权。

        --将阿里云账号加到租户内并给阿里云账号授权角色
        Add tenant user <Aliyun$xxxx>;
        Grant tenant role <role_name> to user <Aliyun$xxxx>;
        --查看租户role/user的权限
        Show grants for tenant role <role_name>;
        Show grants for tenant user <user_name>;
        Show principals for tenant [role] <role_name>;
      • 对RAM用户授权。

        1. MaxCompute控制台左侧导航栏,单击租户管理>用户管理

        2. 在对应RAM用户的操作列,单击修改角色

        3. 编辑角色对话框,选择待添加角色区域中的目标角色至已添加角色区域。

        4. 单击确定,完成授权。

  3. 在数据传输服务任务的SDK中手工指定Quota组。

    --使用Quota名称为XXX的资源组进行数据传输服务。
    final TableTunnel tunnel = new TableTunnel(odps);
    tunnel.getConfig().setQuotaName("xxx");
    TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName);
    
    --可以获取到session实际在使用的资源组
    up.getQuotaName();

    您可以登录MaxCompute控制台,在配额(Quota)管理列表中,查看并复制对应的QuotaName,例如:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****

    image.png

查看资源组指标

您可以查看当前数据传输服务(包年包月)独享资源组的使用情况,在Quota管理对应的独享资源组上单击资源消耗后,进入指标查看页面。

指标名称

说明

请求并发数

当前资源组请求并发的曲线图,包括上传、下载和总并发数。

吞吐量(B/S)

当前资源组吞吐量的曲线图,包括上传和下载。

表访问热度(并发数)

选择使用方式(例如:Tunnel Batch上传)及表名称(例如:testtable),则表示当前资源组里使用Tunnel Batch方式上传的testtable表的并发数曲线图。

访问来源IP(B/S)

选择使用方式(例如:Tunnel Batch上传)及表名称(例如:testtable),则表示当前资源组里使用Tunnel Batch方式上传的testtable表的各访问来源IP每秒传输的数据量曲线图。

错误个数

当前资源组发生500429错误的个数曲线图。

其他操作

您可通过MaxCompute控制台按照以下步骤进行资源组配置。

重要

通过MaxCompute控制台进行资源组配置的功能,预计北京时间2024年9月30日下线。为避免下线后资源组配置失效,建议您恢复默认配置(数据传输服务资源组设置为default),并参考使用独享数据服务资源组进行资源组配置。

  1. 登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏选择工作区 > 项目管理

  2. 项目管理页面选择您要绑定Quota组的项目,单击操作列的管理后,单击基础属性区域的编辑

  3. 数据传输服务下拉列表中选择您需要绑定的数据传输服务资源组。

    可以绑定默认公共资源组(default),也可以选择购买的独享资源组。

    数据传输服务资源组

    是否开启成默认数据传输服务

    说明

    default

    -

    默认资源组:公共数据传输服务资源组。

    即该项目下所有发起的数据传输任务都将使用公共数据传输服务资源组,并且不能使用独享资源组。

    独享资源组

    • 默认资源组:独享数据传输服务资源组。

    • 单个任务资源组切换:在SDK或者数据集成中提交任务时手工指定QuotaName为目标资源组。

    • 默认资源组:公共数据传输服务资源组。

    • 单个任务资源组切换:在SDK或者数据集成中提交任务时手工指定QuotaName为独享资源组的名称。