资源弹性扩缩容

DataWorks实时同步任务支持为使用的资源配置弹性扩缩容,可根据预设周期对集成任务的资源组进行扩缩容,节约资源成本。本文将为您介绍资源弹性扩缩容的操作方式。

功能介绍

为提高数据集成资源使用率,同时发挥弹性云的特点,DataWorks的数据集成支持基于Serverless资源组,按任务粒度动态扩缩容。通过对资源配置进行不同周期和执行时间的调整,确保集成任务在数据峰值期间能够获得更大的计算单元(CU)支持,在数据低谷期间,任务以最小的计算单元(CU)运行,避免资源浪费,从而降低成本。

注意事项

  • 在同一执行计划中,新增资源配置时间段的触发时间必须与已有资源配置的触发时间间隔大于半小时,以确保已有资源配置能够顺利执行完成;否则,将无法保存新的资源配置。

  • 如果是预付费资源组,资源弹性扩容时超出数据集成资源配额上限,会触发扩缩容回滚操作,将同步任务资源回滚至上一次成功运行的资源大小。

  • 扩缩容操作将导致作业暂时中断,暂停时间不超过3分钟。

进入资源调优

  1. 进入数据集成。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在数据集成页面,单击image按钮进入同步任务页面,可在任务列表模块查看已创建的数据集成任务。

  3. 进入创建/修改执行计划页面。

    数据集成任务可通过以下两种方式创建/修改执行计划:

    • 资源调优侧创建/修改

      在数据集成任务创建完毕后,即可在资源调优侧创建/修改执行计划。

      在任务列表页面,在需要配置创建/修改执行计划的集成任务操作列的更多 > 资源调优,进入创建/修改执行计划页面。

    • 任务基本信息侧创建/修改

      数据集成任务正在运行中,可在任务基本信息侧创建/修改执行计划。

      在任务列表页面,单击需要创建/修改执行计划的集成任务的名称/ID,进入任务详情页面,可在基本信息 > 当前任务占用后,单击资源调优,进入创建/修改执行计划页面。

创建/修改执行计划

  1. 创建/修改执行计划页面的计划列表中,可通过单击新增计划来新增执行计划,也可以通过单击操作列的停止按钮停止正在运行的计划后,再单击已有计划操作列的编辑按钮,修改执行计划。

  2. 单击添加资源配置按钮,配置新的任务资源扩缩容的周期时间以及配置CU的大小,也可以对已有的资源配置单击编辑按钮后,修改资源配置。

    • 计划名称:创建执行计划时,需自定义计划名称。计划名称保存后无法编辑或修改。

    • 添加资源配置:创建或修改执行计划时,可对以下配置项进行添加或修改。

      配置项

      配置说明

      周期频率

      根据当前数据集成任务运行时需占用的资源量,配置周期频率,支持配置单次执行每天每周以及每月执行

      执行日期

      当周期频率配置为单次执行、每周或每月时,可以设置具体执行日期。

      执行时间

      配置执行计划在运行时间内具体的运行时间,可配置不同的时区和时间

      配置大小

      根据数据集成任务运行所需的CU数量进行配置。

      操作

      • 可对已配置好的配置项进行保存取消删除

      • 可对已保存的任务资源执行计划进行编辑删除

      任务执行计划内可通过单击添加资源配置,添加多条资源配置。

  3. 任务资源调优配置完成后,单击确定,保存任务执行计划。

应用执行计划

在完成执行计划的创建后,用户可以在计划列表中点击操作列的应用按钮,将执行计划应用于当前的集成任务。

说明

一条数据集成任务,仅支持应用一条执行计划,若存在多个执行计划的资源配置时间段,可通过在计划任务内配置多个资源配置。

查看调优执行历史

进入创建/修改执行计划页面后,可在计划列表页面查看已创建并执行的计划,以及在执行历史模块查看已应用在该数据集成任务上的资源执行计划的执行结果执行时间以及执行信息

更多操作

执行计划创建或修改完成后,在创建/修改执行计划页面的计划列表中,可对已存在的执行计划进行更多管理操作。

  • 删除执行计划:适用于已存在但未应用的执行计划,若需删除应用中的执行计划,需先停止已应用的执行计划,再进行删除。

  • 查看执行计划:适用于已应用的执行计划,可查看所选执行计划的资源配置信息。

  • 停止执行计划:适用于已应用的执行计划,可停止所选执行计划,停止后的执行计划可以被删除和编辑。