如果您准备将DataWorks的旧版资源组切换为Serverless资源组,为了能够平滑迁移,需要在切换前评估各项已有任务的资源消耗情况,然后切换到足够承载所有任务的Serverless资源组,本文为您提供了不同任务所需CU的评估示例、切换前后可能的影响以及从旧版资源组切换到Serverless资源组的操作指导。
新版资源组
DataWorks支持独享数据集成资源组、独享调度资源组和独享数据服务资源组,但这些资源组需要根据实际情况分别购买和配置。为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,一个Serverless资源组即可在数据集成、任务调度、数据服务功能间统一使用,简化了资源组的交互问题并提升了操作的一致性。
计费说明
切换前,旧版资源组计费说明:旧版资源组计费。
切换后,Serverless资源组计费说明:Serverless资源组计费。
操作步骤
步骤一:查询待切换资源组的任务
数据集成
在数据集成页面切换数据集成任务:
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据集成。
在左侧导航栏,单击同步任务,然后在任务列表区域,单击展开,筛选资源组为待切换的数据集成资源组。
在新版数据开发页面切换数据集成任务:
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的 ,进入Data Studio。
默认进入数据开发页面,单击项目目录的
,进入节点的批量操作。
通过筛选待切换资源组,并选中相关节点类型(实时同步、离线同步)。
在旧版数据开发页面切换数据集成任务:
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在左侧导航栏,单击数据开发,找到目标业务流程,右键选择批量操作。
节点类型选择为离线同步和实时同步,数据集成资源组选择为待切换的数据集成资源组。
调度任务
进入运维中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入运维中心。
在左侧导航栏单击
,筛选调度资源组为待切换的调度资源组。
数据服务
进入数据服务页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据服务。
在左侧导航栏单击服务开发,然后单击
,进入批量操作页面,筛选资源组为待切换的数据服务资源组。
步骤二:切换前Serverless资源组规格评估
切换为Serverless资源组后,数据计算型任务(PyODPS2、EMR Hive等)将收取计算费用。
您需要在切换前评估已有任务(同步任务、调度任务以及数据服务)的资源消耗情况,从而确定需要购买的Serverless资源组的规格大小,确保Serverless资源组能够承载相关业务。
具体评估建议如下:
数据集成
离线同步
离线同步任务并发配置 | 建议规格 | 运行最低规格 |
<4 | 0.5 CU | 0.5 CU |
>=4 |
|
实时同步
同步任务类型 | 建议规格 | 运行最低规格 | |
MySQL实时同步 | 数据库数1个 | 2 CU | 运行一个实时同步任务最低规格:1 CU |
数据库数2~5个 | 2 CU | ||
数据库数6个以上 | 2 CU | ||
kafka实时同步 | 1 CU | ||
其它类型单表级别实时任务 | 1 CU | ||
整库实时同步 | - | 运行一个整库同步任务最低规格:2 CU |
任务调度
Serverless资源组支持的最大并发运行实例数上限为200,无需关注Serverless资源组CU规格。默认并发运行实例数为50,可在资源组详情页设置任务调度并发上限为200。
数据服务
最大每秒请求(QPS) | 最低规格 | 服务可用性(SLA) |
500 | 4 CU | 99.95% |
1000 | 8 CU | |
2000 | 16 CU |
数据计算
每个数据计算型任务都有默认CU,请参见任务类型和CU消耗情况。
步骤三:购买Serverless资源组
根据已评估的Serverless资源组规格大小,购买Serverless资源组。具体请参见使用Serverless资源组。
步骤四:切换为Serverless资源组
后续步骤
切换Serverless资源组后,如果原旧版资源组确认不再使用,可将原资源组退订。具体操作,请参见通用参考:退订包年包月产品。