DataWorks上下线调度任务

本文为您介绍标准模式工作空间任务上下线操作流程、还原流程以及任务下线后已生成实例及正在运行实例平台侧处理方案。

上线任务

上线任务(节点),即节点发布至生产环境调度,流程如下。

节点提交到开发环境>发布到生产环境>运维中心周期任务中查看是否符合预期。

节点提交到开发环境

通过发布流程将任务发布至生产

生产调度任务列表确认生产任务是否符合预期

方式一:单个任务提交

image

image

image

方式二:提交业务流程

image

下线任务

下线任务(节点),即不再调度该任务,将该任务从生产调度系统中下线,流程如下。

在数据开发DataStudio删除任务>进入任务发布界面将下线操作发布到生产环境执行>运维中心周期任务中检查节点不存在即下线成功。

重要

为保障下游任务正常调度,仅支持在节点无下游依赖的前提下,下线节点,否则将报错节点存在子节点,导致任务删除或下线失败,关于该报错详细说明请参见下文报错2:报错节点存在子节点,导致任务删除或下线失败。

删除开发环境任务

通过发布流程将下线操作发布生产执行

生产调度任务列表确认是否还存在该任务

方式一:删除单个任务

image

在数据开发删除开发环境任务后,会默认在任务发布界面产生一条待发布的下线记录。

image
image

方式二:通过批量操作删除

image

方式二:通过节点组删除

image

任务下线时,已生成的周期实例处理方式如下:

  • 未运行的实例会空跑,实例状态直接置为成功,但该实例实际未运行任务代码。按量付费场景下,空跑的实例不会收取调度实例费。

  • 下线操作执行过程中,正在运行的实例会继续正常执行。

重要
  • DataWorks不支持手动删除实例,实例在过期后(30天左右)平台将自动删除,任务下线后已生成的实例处理方案请参见上文上述内容。

  • 如果某天的任务不需要再运行,您可以选择冻结该任务当天产生的实例。如果某任务之后一段都需要再运行,你可选择冻结该周期任务,详情请参见冻结(暂停)任务

恢复任务

可以在数据开发DataStudio从回收站中恢复近100条已删除的对象,重新提交发布。

说明
  1. 节点恢复后会生成新的节点ID。

  2. 仅支持还原已经在开发环境和生产环境都删除的文件(节点、资源、函数),否则将报错报错1:请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布。

image

报错1:请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布。

  • 报错原因:回收站仅支持还原已经在开发环境和生产环境都删除的文件(节点、资源、函数)。若文件只从开发环境删除,未将其删除操作发布至生产执行,即未下线生产文件,将产生该报错。

  • 解决方案:您可前往任务发布界面通过取消发布,在还原数据开发文件。任务发布界面取消发布操作,详情请参见取消发布

报错2:报错节点存在子节点,导致任务删除或下线失败。

  • 报错原因:为保障下游任务正常执行,DataWorks仅支持任务在开发环境生产环境均无下游依赖的情况下下线任务。

  • 解决方案:

    • 确认待删除任务的下游依赖:可前往开发环境运维中心和生产环境运维中心周期任务界面分别确认该任务开发环境和生产环境是否存在下游依赖关系。

    • 移除待下线任务依赖:存在下游依赖的情况下,您可通过以下说明进行。

1.打开下游任务调度配置界面,去除待下线任务的依赖关系,

2.提交下游任务,下游节点移除开发环境该待下线任务的依赖关系。

3.发布下游任务,下游节点移除生产环境该带下线任务的依赖关系。

4.待下线任务执行下线操作,操作流程参考上文。