旧版资源组切换为Serverless资源组

如果您准备将DataWorks的旧版资源组切换为Serverless资源组,为了能够平滑迁移,需要在切换前评估各项已有任务的资源消耗情况,然后切换到足够承载所有任务的Serverless资源组,本文为您提供了不同任务所需CU的评估示例、切换前后可能的影响以及从旧版资源组切换到Serverless资源组的操作指导。

新版资源组

DataWorks支持独享数据集成资源组、独享调度资源组和独享数据服务资源组,但这些资源组需要根据实际情况分别购买和配置。为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,一个Serverless资源组即可在数据集成、任务调度、数据服务功能间统一使用,简化了资源组的交互问题并提升了操作的一致性。

计费说明

操作步骤

步骤一:查询待切换资源组的任务

数据集成

在数据集成页面切换数据集成任务:

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏,单击同步任务,然后在任务列表区域,单击展开,筛选资源组为待切换的数据集成资源组。

    image

在新版数据开发页面切换数据集成任务:

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 默认进入数据开发页面,单击项目目录image,进入节点的批量操作。

  3. 通过筛选待切换资源组,并选中相关节点类型(实时同步离线同步)。

    image

在旧版数据开发页面切换数据集成任务:

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在左侧导航栏,单击数据开发,找到目标业务流程,右键选择批量操作

  3. 节点类型选择为离线同步实时同步数据集成资源组选择为待切换的数据集成资源组。

    image

调度任务

  1. 进入运维中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏单击周期任务运维 > 周期任务,筛选调度资源组为待切换的调度资源组。

    image

数据服务

  1. 进入数据服务页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据分析与服务 > 数据服务,在下拉框中选择对应工作空间后单击进入数据服务

  2. 在左侧导航栏单击服务开发,然后单击image,进入批量操作页面,筛选资源组为待切换的数据服务资源组。

    image

步骤二:切换前Serverless资源组规格评估

重要

切换为Serverless资源组后,数据计算型任务(PyODPS2、EMR Hive等)将收取计算费用。

您需要在切换前评估已有任务(同步任务、调度任务以及数据服务)的资源消耗情况,从而确定需要购买的Serverless资源组的规格大小,确保Serverless资源组能够承载相关业务。

具体评估建议如下:

数据集成

离线同步

离线同步任务并发配置

建议规格

运行最低规格

<4

0.5 CU

0.5 CU

>=4

(并发数 - 4) × 0.07 + 0.5 CU

实时同步

同步任务类型

建议规格

运行最低规格

MySQL实时同步

数据库数1

2 CU

运行一个实时同步任务最低规格:1 CU

数据库数2~5

2 CU

数据库数6个以上

2 CU

kafka实时同步

1 CU

其它类型单表级别实时任务

1 CU

整库实时同步

-

运行一个整库同步任务最低规格:2 CU

任务调度

Serverless资源组支持的最大并发运行实例数上限为200,无需关注Serverless资源组CU规格。默认并发运行实例数为50,可在资源组详情页设置任务调度并发上限为200。

image

数据服务

最大每秒请求(QPS)

最低规格

服务可用性(SLA)

500

4 CU

99.95%

1000

8 CU

2000

16 CU

数据计算

每个数据计算型任务都有默认CU,请参见任务类型和CU消耗情况

步骤三:购买Serverless资源组

根据已评估的Serverless资源组规格大小,购买Serverless资源组。具体请参见使用Serverless资源组

步骤四:切换为Serverless资源组

后续步骤

切换Serverless资源组后,如果原旧版资源组确认不再使用,可将原资源组退订。具体操作,请参见通用参考:退订包年包月产品