如果您准备将DataWorks的旧版资源组切换为Serverless资源组,为了能够平滑迁移任务,需要在切换前评估各项已有任务的资源消耗情况,然后切换到足够承载所有任务的Serverless资源组,本文为您提供了不同任务所需CU的评估示例、切换前后可能的影响以及从旧版资源组切换到Serverless资源组的操作指导。
新版资源组
DataWorks支持独享数据集成资源组、独享调度资源组和独享数据服务资源组,但这些资源组需要根据实际情况分别购买和配置。为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,一个Serverless资源组即可在数据集成、任务调度、数据服务功能间统一使用,简化了资源组的交互问题并提升了操作的一致性。
计费说明
-
切换前,旧版资源组计费说明:旧版资源组计费。
-
切换后,Serverless资源组计费说明:Serverless资源组计费。
操作步骤
步骤一:查询待切换资源组的任务
数据集成
在数据集成页面切换数据集成任务:
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据集成。
-
在左侧导航栏,单击同步任务,然后在任务列表区域,单击展开,筛选资源组为待切换的数据集成资源组。
在新版数据开发页面切换数据集成任务:
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到目标工作空间,单击操作列的快速进入> Data Studio,进入Data Studio。
-
默认进入数据开发页面,单击项目目录的
,进入节点的批量操作。 -
通过筛选待切换资源组,并选中相关节点类型(实时同步、离线同步)。
在旧版数据开发页面切换数据集成任务:
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据开发。
-
在左侧导航栏,单击数据开发,找到目标业务流程,右键选择批量操作。
-
节点类型选择为离线同步和实时同步,数据集成资源组选择为待切换的数据集成资源组。
调度任务
进入运维中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入运维中心。
-
在左侧导航栏单击,筛选调度资源组为待切换的调度资源组。
数据服务
进入数据服务页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据服务。
-
在左侧导航栏单击服务开发,然后单击
,进入批量操作页面,筛选资源组为待切换的数据服务资源组。
步骤二:切换前Serverless资源组规格评估
切换为Serverless资源组后,数据计算型任务(PyODPS2、EMR Hive等)将收取计算费用。
您需要在切换前评估已有任务(同步任务、调度任务以及数据服务)的资源消耗情况,从而确定需要购买的Serverless资源组的规格大小,确保Serverless资源组能够承载相关业务。
数据集成
离线同步
|
离线同步任务并发配置 |
建议规格 |
运行最低规格 |
|
<4 |
0.5 CU |
0.5 CU |
|
>=4 |
|
实时同步
|
同步任务类型 |
建议规格 |
运行最低规格 |
|
|
MySQL实时同步 |
数据库数1个 |
2 CU |
运行一个实时同步任务最低规格:1 CU |
|
数据库数2~5个 |
2 CU |
||
|
数据库数6个以上 |
2 CU |
||
|
kafka实时同步 |
1 CU |
||
|
其它类型单表级别实时任务 |
1 CU |
||
|
整库实时同步 |
- |
运行一个整库同步任务最低规格:2 CU |
|
任务调度
Serverless资源组支持的最大并发运行实例数上限为200,无需关注Serverless资源组CU规格。默认并发运行实例数为50,可在资源组详情页设置任务调度并发上限为200。
数据服务
|
最大每秒请求(QPS) |
最低规格 |
服务可用性(SLA) |
|
500 |
4 CU |
99.95% |
|
1000 |
8 CU |
|
|
2000 |
16 CU |
数据计算
每个数据计算型任务都有默认CU,请参见任务类型和CU消耗情况。
步骤三:购买Serverless资源组
根据已评估的Serverless资源组规格大小,购买Serverless资源组。具体请参见使用Serverless资源组。
步骤四:切换为Serverless资源组
后续步骤
切换Serverless资源组后,如果原旧版资源组确认不再使用,可将原资源组退订。具体操作,请参见通用参考:退订包年包月产品。