使用独享数据传输服务资源组保障高并发大规模数据传输-云原生大数据计算服务 MaxCompute-阿里云

在MaxCompute中，若需要使用模型传输大规模数据且对传输稳定性和延迟有要求时，可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文介绍如何购买和使用该类资源。

背景信息

MaxCompute当前在各个地域均为您提供了免费的公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的对比介绍如下。

资源组类型	费用说明	支持的地域	使用注意事项
公共数据传输服务资源组	免费	当前MaxCompute的所有地域	资源有限。由于架构设计的限制，数据传输服务共享资源组天然不能给每个租户保障资源，在特殊时间段极小概率下，用户可能会获取不到共享资源组的资源，导致用户作业提交失败。可使用最大并发数受限。为了保障公共资源可提供稳定的服务，对每个客户可使用的最大并发数做了限制，且不同地域下最大并发数限制值不同。
独享数据传输服务资源组（包年包月）	包年包月，按购买并发数的数量计费，计费详情见下文独享数据传输服务资源组定价。	华东1（杭州）华北2（北京）华东2（上海）华南1（深圳）西南1（成都）中国香港华东 1 金融云新加坡印度尼西亚（雅加达）美国（硅谷）美国（弗吉尼亚）	购买独享数据传输服务资源组后，MaxCompute会保障您的资源独享，购买的资源会完全锁定仅供您使用，其它租户不能使用。保障了数据传输资源的独享性，也提高数据传输的稳定性。

适用范围

购买使用独享数据服务资源组前，需要检查当前的网络和地域条件是否满足要求：

网络限制：只支持云上VPC网络访问，暂时不支持公共网络访问。
地域限制：只支持同地域的数据传输服务，暂时不支持跨地域的数据传输服务，需要根据数据传输任务的地域购买对应地域的资源组。
其他使用限制请参考数据传输服务使用限制。

购买独享数据服务资源组

登录MaxCompute控制台，在左上角选择地域。
在左侧导航栏，选择管理配置 > 配额（Quota）管理 。
在Quota管理页面，单击新购Quota。
在购买页面，规格类型处选择数据传输服务。
根据需要配置数据传输服务并发，目前并发数是50并发起售卖，增量购买需要是1的整数倍。
完成购买后返回控制台，在Quota管理页面将会出现一个Quota类型为数据传输服务的Quota组，在该Quota组上可以进行升配、降配和续费相关操作。

使用独享数据服务资源组

在进行数据传输或数据集成作业时，可以根据不同的业务需求，灵活指定作业使用的独享数据服务资源组，以提高数据处理效率。

通过本地客户端（odpscmd）或其他连接工具访问MaxCompute项目，启用独享数据传输服务资源组。
```
 setproject odps.tunnel.enable.quota.route.v2=true;
```
说明
请确保MaxCompute SDK已升级为V0.45及以上版本。
为所有账号（包括阿里云账号）和角色授权Quota功能使用权限。
1. 登录MaxCompute控制台，在左上角选择地域。
2. 在左侧导航栏，选择管理配置 > 租户管理 。
3. 在租户管理页面，单击角色管理页签。
4. 在角色管理页签，单击新增角色，在弹出的新增角色对话框，填写自定义角色名称和policy内容，然后单击确定完成创建。
  policy内容配置如下：
```
{
    "Statement": [{
            "Action": [
                "odps:List",
                "odps:Usage"],
            "Effect": "Allow",
            "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
    "Version": "1"
}
```
5. 将角色授权给需要进行作业级别指定Quota的账号。
  1. 给阿里云账号授权。
```
-- 将阿里云账号加到租户内并给阿里云账号授权角色。
ADD tenant USER <Aliyun$xxxx>;
GRANT tenant role <role_name> TO USER <Aliyun$xxxx>;

-- 查看租户role/user的权限。
SHOW grants FOR tenant role <role_name>;
SHOW grants FOR tenant USER <user_name>;
SHOW principals FOR tenant [role] <role_name>;
```
  2. 对RAM用户授权。
    在租户管理页面，单击用户管理页签。
    在用户管理页签，单击新增成员，在弹出的添加成员对话框，勾选或手动添加需要设置角色的账号。在批量设置角色区域选择要为这些账号配置的角色，单击，然后确定，完成配置。

在数据传输服务任务的SDK中手工指定Quota组。

-- 使用Quota名称为XXX的资源组进行数据传输服务。
final TableTunnel tunnel = new TableTunnel(odps);
tunnel.getConfig().setQuotaName("xxx");
TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName);

-- 可以获取到session实际在使用的资源组。
up.getQuotaName();

在左侧导航栏，选择管理配置 > 配额（Quota）管理 。

可以查看并复制QuotaName，例如：ot_42854300324****_169821756****_p#ot_42854300324****_169821756****。

查看资源组指标

在Quota管理页面，单击目标Quota对应操作列的资源消耗。

查看当前数据传输服务（包年包月）独享资源组的使用情况。

指标名称	说明
请求并发数	根据过滤条件展示对应Slot用量的曲线图，包含当前用量和Quota用量上限，单位为Slot。
吞吐量	根据过滤条件展示对应吞吐量的曲线图，单位以纵坐标展示单位为准，如B/min或MB/min。
表级别请求并发数	展示过滤条件下，使用Tunnel Batch方式上传到testtable表的并发数曲线图，单位为Slot。过滤条件可选择使用方式（例如：Tunnel Batch上传）及表名称（例如：testtable）。
表级别IP吞吐量	展示过滤条件下，使用Tunnel Batch方式上传testtable表的各访问来源IP的吞吐量曲线图。过滤条件可选择使用方式（例如：Tunnel Batch上传）及表名称（例如：testtable）。
总请求数和错误请求数	根据过滤条件展示对应的总请求数和各类错误请求数量。其中：总请求数：是所有成功请求和错误请求的总和。错误请求数：指所有状态码为4XX或5XX的请求，详细的状态码含义请参考文档数据传输服务概述。
数据量汇总	根据过滤条件展示对应时间范围内，不同使用方式的数据量汇总，并通过饼图展示不同使用方式的占比。
槽位平均传输速率	展示过滤条件下，使用Tunnel Batch方式上传的请求单个Slot的平均传输速率。过滤条件可选择使用方式（例如：Tunnel Batch上传）。

资源组配置

重要

通过MaxCompute控制台进行资源组配置的功能，预计北京时间2024年9月30日下线。为避免下线后资源组配置失效，建议恢复默认配置（数据传输服务资源组设置为default），并参考使用独享数据服务资源组进行资源组配置。

登录MaxCompute控制台，在左上角选择地域。
在左侧导航栏，选择管理配置 > 项目管理。

在项目管理页面，单击目标项目操作列的管理。

在基础属性区域可以查看当前项目的数据传输服务配置。相关参数解释如下：

参数	说明
数据传输服务默认Quota	表示未特殊指定读写该项目数据需要使用的资源组Quota时，当前项目默认使用的数据传输服务资源组。通常为Default，代表公共数据传输服务资源组，暂不支持通过控制台修改。
数据传输服务默认Quota	表示该项目已经授权所有用户和角色使用配置的独享资源组执行数据读写任务，因此即使未手动授权，也可在SDK中指定所配置的独享资源组Quota进行项目的数据读写任务。一个项目仅支持配置一个独享资源组。
数据传输服务叠加Quota	数据传输服务独享资源组升级特性，支持将独享资源组和Default资源组叠加使用。在此配置购买的独享资源组后，当前项目允许使用的最大并发数可以被提升为公共数据传输服务资源组和独享资源组的资源总和。该升级特性仅部分地域支持，以控制台展示为准。

一个项目仅支持配置一个独享资源组，但允许多个项目配置同一个独享资源组。叠加使用时，Quota组需要指定Default。
如需要使用开放存储Storage API接口时，仍需要指定独享资源组，QuotaName格式为ot_42854300324****_169821756****_p#ot_42854300324****_169821756***。

在基础属性区域，单击编辑，按需修改相关配置。