在数据集成任务高并发执行且无法错峰运行的情况下,需要专有的计算资源组来保障数据快速、稳定的传输时,建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。
功能介绍
独享数据集成资源组的功能亮点如下:- 支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
- 具有丰富的产品能力:
- 支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。
- 支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。
- 提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。
独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量,而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量,请购买独享调度资源,详情请参见购买指引。
使用限制
- 独享数据集成资源组的计费方式为包年包月,在资源组到期前不支持提前删除、释放资源组,资源组到期后会按照规定的时间停服、释放。
- 独享数据集成资源组不支持跨地域使用。例如,华东2(上海)地域的独享数据集成资源组,只能给华东2(上海)地域的工作空间使用。
- 独享数据集成资源组不支持访问阿里云经典网络。如果您的数据源处于经典网络环境中,建议您将数据源迁移至专有网络中。
性能指标
规格 | 离线同步最大并发线程数 |
---|---|
4c8g | 8 |
8c16g | 16 |
12c24g | 24 |
16c32g | 32 |
24c48g | 48 |
规格 | 单任务建议需要的资源规格 |
---|---|
MySQL来源实时同步数据库数1 | 4c8g |
MySQL来源实时同步数据库数[2-5] | 8c16g |
MySQL来源实时同步数据库数6以上 | 12c24g |
PolarDB-X来源实时同步 | 12c24g |
kafka来源实时同步 | 4c8g |
其它类型单表级别实时任务 | 4c8g |
规格选择及费用预估
您可以使用DataWorks独享资源组计算器预估所需规格及相关费用。预估规格及相关费用时,可进入DataWorks的 ,查看资源运行的实例数、并发情况等信息作为参考。查看运维大屏,详情请参见查看运维大屏。
计费与相关操作
(1)计费说明
独享数据集成资源组的计费方式为包年包月,您可以根据自身需求选择合适的规格进行购买,不同规格的计费详情请参见:独享数据集成资源组计费说明:包年包月。
(2)扩容与缩容
您可以根据业务需求选择购买独享资源组,指定购买资源组内机器规格、机器数量,购买完成后,您可以对资源组进行扩容或缩容操作,扩缩容操作步骤和注意事项请参见扩缩容操作。
(3)规格变更(升降配)
如果当前独享资源组规格不符合实际需要,您可以针对该资源组进行规格变更。变更当前资源组的规格,资源组内所有机器的规格将统一变更,规格变更操步骤和注意事项请参见变更规格操作。
(4)续费、停服与释放资源组
您可以在独享资源组临近到期时进行续费操作,或等待资源组到期后停服并自动释放资源。详情请参见到期说明及续费操作。
使用独享数据集成资源组
- 购买独享资源组。
- 绑定归属工作空间。
- 为独享资源组绑定专有网络。
- 添加白名单。
- 应用示例:独享数据集成资源组。
网络连通方案
独享数据集成资源组与其他独享资源组类似,本质上为一组阿里云ECS实例,在数据集成任务运行时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。
独享数据集成资源组购买后,需绑定一个VPC网络,后续您可以根据数据源所在的网络环境情况来选择网络连通方案。详情请参见:配置资源组与网络连通。
- 网络连通方案
数据源网络环境 网络连通方案 数据源处于公网环境中 数据源与独享资源组绑定的VPC网络直连即可连通。 数据源处于VPC网络中,且与独享资源组在同一地域 建议独享资源组与数据源绑定同一VPC,绑定后系统自动为您添加一条路由至整个VPC的路由,您绑定VPC的任意一个交换机,独享资源组与数据源的网络都可连通。 数据源处于VPC网络中,且与独享资源组在不同地域 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。 数据源处于IDC网络中 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。 数据源处于经典网络中 独享资源组处于阿里云VPC网络,如果数据源处于经典网络环境中,则数据源与独享资源组间网络无法连通,建议您将数据源迁移至VPC网络中。 - 白名单配置
如果数据源设置有白名单限制访问地址时,您需要将独享资源组的访问地址添加至数据源的访问白名单中,避免访问受限。详情可参见使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。
常见问题
DataWorks独享资源组的常见问题,详情请参见独享资源组。