在数据集成任务高并发执行且无法错峰运行的情况下,需要专有的计算资源组来保障数据快速、稳定的传输时,建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。
DataWorks不推荐使用独享数据集成资源组
DataWorks内不再推荐使用独享数据集成资源组,建议使用Serverless资源组。Serverless资源组涵盖旧版资源组(独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共资源组)的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。
功能介绍
独享数据集成资源组的功能亮点如下:
支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
具有丰富的产品能力:
支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。
支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。
提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见数据集成侧同步任务能力说明。
独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量,而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量,请同时购买独享调度资源,详情请参见购买指引。
使用限制
独享数据集成资源组的计费方式为包年包月,在资源组到期前不支持提前删除、释放资源组,资源组到期后会按照规定的时间停服、释放。
独享数据集成资源组不支持跨地域使用。例如,华东2(上海)地域的独享数据集成资源组,只能给华东2(上海)地域的工作空间使用。
独享数据集成资源组不支持访问阿里云经典网络。如果您的数据源处于经典网络环境中,您可按需将数据源迁移至VPC专有网络或者开放公网访问。
性能指标
规格 | 离线同步最大并发线程数 |
4 vCPU 8 GiB | 8 说明
|
8 vCPU 16 GiB | 16 |
12 vCPU 24 GiB | 24 |
16 vCPU 32 GiB | 32 |
24 vCPU 48 GiB | 48 |
规格 | 单任务建议需要的资源规格 |
MySQL来源实时同步数据库数1个 | 4 vCPU 8 GiB |
MySQL来源实时同步数据库数[2~5个] | 8 vCPU 16 GiB |
MySQL来源实时同步数据库数6个以上 | 12 vCPU 24 GiB |
PolarDB-X来源实时同步 | 12 vCPU 24 GiB |
kafka来源实时同步 | 4 vCPU 8 GiB |
其它类型单表级别实时任务 | 4 vCPU 8 GiB |
计费标准
独享调度资源组的计费方式为包年包月,您可以根据自身需求选择合适的规格进行购买。
地域 | 规格 | 单价(元/月) |
华东1(杭州) | 4 vCPU 8 GiB | 492.50 |
8 vCPU 16 GiB | 985.00 | |
12 vCPU 24 GiB | 1477.50 | |
16 vCPU 32 GiB | 1970.00 | |
24 vCPU 48 GiB | 2955.00 | |
华东2(上海) | 4 vCPU 8 GiB | 492.50 |
8 vCPU 16 GiB | 985.00 | |
12 vCPU 24 GiB | 1477.50 | |
16 vCPU 32 GiB | 1970.00 | |
24 vCPU 48 GiB | 2955.00 | |
华南1(深圳) | 4 vCPU 8 GiB | 492.50 |
8 vCPU 16 GiB | 985.00 | |
12 vCPU 24 GiB | 1477.50 | |
16 vCPU 32 GiB | 1970.00 | |
24 vCPU 48 GiB | 2955.00 | |
华北2(北京) | 4 vCPU 8 GiB | 492.50 |
8 vCPU 16 GiB | 985.00 | |
12 vCPU 24 GiB | 1477.50 | |
16 vCPU 32 GiB | 1970.00 | |
24 vCPU 48 GiB | 2955.00 | |
华北3(张家口) | 4 vCPU 8 GiB | 370.00 |
8 vCPU 16 GiB | 738.75 | |
12 vCPU 24 GiB | 1108.75 | |
16 vCPU 32 GiB | 1477.50 | |
24 vCPU 48 GiB | 2216.25 | |
西南1(成都) | 4 vCPU 8 GiB | 403.75 |
8 vCPU 16 GiB | 806.25 | |
12 vCPU 24 GiB | 1208.75 | |
16 vCPU 32 GiB | 1611.25 | |
24 vCPU 48 GiB | 2417.50 | |
美国(硅谷) | 4 vCPU 8 GiB | 964.38 |
8 vCPU 16 GiB | 1928.78 | |
12 vCPU 24 GiB | 2893.05 | |
16 vCPU 32 GiB | 3857.58 | |
24 vCPU 48 GiB | 5786.10 | |
美国(弗吉尼亚) | 4 vCPU 8 GiB | 714.79 |
8 vCPU 16 GiB | 1429.58 | |
12 vCPU 24 GiB | 2144.33 | |
16 vCPU 32 GiB | 2859.15 | |
24 vCPU 48 GiB | 4288.65 | |
中国香港 | 4 vCPU 8 GiB | 896.31 |
8 vCPU 16 GiB | 1786.96 | |
12 vCPU 24 GiB | 2688.90 | |
16 vCPU 32 GiB | 3573.94 | |
24 vCPU 48 GiB | 5377.80 | |
新加坡 | 4 vCPU 8 GiB | 896.31 |
8 vCPU 16 GiB | 1786.96 | |
12 vCPU 24 GiB | 2688.90 | |
16 vCPU 32 GiB | 3573.94 | |
24 vCPU 48 GiB | 5377.80 | |
德国(法兰克福) | 4 vCPU 8 GiB | 896.31 |
8 vCPU 16 GiB | 1786.96 | |
12 vCPU 24 GiB | 2642.25 | |
16 vCPU 32 GiB | 3573.94 | |
24 vCPU 48 GiB | 5284.50 | |
马来西亚(吉隆坡) | 4 vCPU 8 GiB | 840.00 |
8 vCPU 16 GiB | 1673.75 | |
12 vCPU 24 GiB | 2520.00 | |
16 vCPU 32 GiB | 3346.25 | |
24 vCPU 48 GiB | 5040.00 | |
印度尼西亚(雅加达) | 4 vCPU 8 GiB | 896.31 |
8 vCPU 16 GiB | 1786.96 | |
12 vCPU 24 GiB | 2688.90 | |
16 vCPU 32 GiB | 3573.94 | |
24 vCPU 48 GiB | 5377.80 | |
日本(东京) | 4 vCPU 8 GiB | 1026.79 |
8 vCPU 16 GiB | 2047.91 | |
12 vCPU 24 GiB | 3063.38 | |
16 vCPU 32 GiB | 4095.84 | |
24 vCPU 48 GiB | 6126.75 | |
英国(伦敦) | 4 vCPU 8 GiB | 676.25 |
8 vCPU 16 GiB | 1352.50 | |
12 vCPU 24 GiB | 2028.75 | |
16 vCPU 32 GiB | 2705.00 | |
24 vCPU 48 GiB | 4057.50 | |
阿联酋(迪拜) | 4 vCPU 8 GiB | 1075.00 |
8 vCPU 16 GiB | 2143.75 | |
12 vCPU 24 GiB | 3220.00 | |
16 vCPU 32 GiB | 4288.75 | |
24 vCPU 48 GiB | 6440.00 | |
政务云 | 4 vCPU 8 GiB | 1020.00 |
8 vCPU 16 GiB | 2005.00 | |
12 vCPU 24 GiB | 2990.00 | |
16 vCPU 32 GiB | 3975.00 | |
24 vCPU 48 GiB | 5945.00 | |
华东2(上海)金融云、华南1(深圳)金融云 | 4 vCPU 8 GiB | 935.75 |
8 vCPU 16 GiB | 1871.50 | |
12 vCPU 24 GiB | 2807.25 | |
16 vCPU 32 GiB | 3743.00 | |
24 vCPU 48 GiB | 5614.50 |
费用预估
您可以使用DataWorks独享资源组计算器预估所需规格及相关费用。预估规格及相关费用时,可进入DataWorks的 ,查看资源运行的实例数、并发情况等信息作为参考。查看运维大屏,详情请参见查看运维大屏。
计费说明
扩容与缩容
您可以根据业务需求选择购买独享资源组,指定购买资源组内机器规格、机器数量。购买完成后,您可以对资源组进行扩容或缩容操作,扩缩容操作步骤和注意事项请参见扩缩容操作。
规格变更(升降配)
如果当前独享资源组规格不符合实际需要,您可以针对该资源组进行规格变更。变更当前资源组的规格,资源组内所有机器的规格将统一变更,规格变更操作步骤和注意事项请参见变更规格操作。
续费、停服与释放资源组
您可以在独享资源组临近到期时进行续费操作,或等待资源组到期后停服并自动释放资源。详情请参见到期说明及续费操作。
资源组释放后,所有依赖该资源组运行的任务将无法正常执行。
网络连通方案
独享数据集成资源组与其他独享资源组类似,本质上为一组阿里云ECS实例,在数据集成任务运行时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。
独享数据集成资源组购买后,需绑定一个VPC网络,后续您可以根据数据源所在的网络环境情况来选择网络连通方案。详情请参见:网络连通方案。
网络连通方案
数据源网络环境
网络连通方案
数据源处于公网环境中
数据源与独享资源组绑定的VPC网络直连即可连通。
数据源处于VPC网络中,且与独享资源组在同一地域
建议独享资源组与数据源绑定同一VPC,绑定后系统自动为您添加一条路由至整个VPC的路由,您绑定VPC的任意一个交换机,独享资源组与数据源的网络都可连通。
数据源处于VPC网络中,且与独享资源组在不同地域
使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
数据源处于IDC网络中
使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
数据源处于经典网络中
独享资源组处于阿里云VPC网络,如果数据源处于经典网络环境中,则数据源与独享资源组间网络无法连通,建议您将数据源迁移至VPC网络中。
白名单配置
如果数据源设置有白名单限制访问地址时,您需要将独享资源组的访问地址添加至数据源的访问白名单中,避免访问受限。详情可参见添加白名单。
常见问题
DataWorks独享资源组的常见问题,详情请参见独享资源组。