对于数据治理过程中的无效任务,数据治理中心为您提供完整的下线方案,支持自动识别推荐或人为选定对象,进行下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决需要人肉识别下线风险、当任务存在正常调度的下游任务时则不能下线、因无法预知风险而不敢轻易下线等问题,帮助您提升任务下线效率。本文为您介绍如何创建及管理任务下线计划。
背景信息
与传统直接下线操作相比,优雅下线增加了下线影响分析、下线过程管理等流程。在各个阶段支持通过多种方式给任务相关人员发送任务待下线通知。
序号 | 操作 | 说明 |
---|---|---|
1 | 选择下线对象 | 您可以选择下线对象,并评估影响面和风险,支持您手动选择下线对象或系统自动推荐下线对象。 |
2 | 配置处理流程 | 您可以管理下线的全过程:
说明 静默时长:当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行任务下线操作。 |
3 | 定义计划执行方式 | 下线流程的每一个步骤,支持您选择人工触发或全自动触发步骤执行。 |
4 | 查看并管理下线计划 | 您可以查看已创建的任务下线计划详情,并对下线计划中添加的各个子任务进行查看执行详情、取消、回滚等操作。 |
使用限制
- 仅空间管理员及运维人员可创建任务下线计划。角色添加详情请参见添加空间成员并管理成员角色权限。
- 任务下线计划仅支持添加单个工作空间下的任务。
- 仅空间管理员可对下线计划进行全部操作。运维人员只能操作自己创建的下线计划,对于其他下线计划仅拥有读权限。
- 一个下线计划中最多可添加200个任务。
注意事项
- 已经处在下线计划中的任务不能被选择下线(即一个任务只能存在于一个下线计划中)。
- 对位于1级基线上的任务可以创建下线计划,位于3、5、7、8级等高等级基线上的任务不能在下线计划中被选择下线。基线详情请参见基线管理。
- 特殊类型的任务不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。
- 待下线任务存在下游依赖时,若受影响的下游任务未在规定时间内主动移除与待下线任务的调度依赖,系统将会在生成一个虚拟节点,将下游任务挂到虚拟节点上。
创建下线计划
- 进入数据治理。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据开发。
- 单击顶部菜单栏左侧的
图标,选择 。
- 单击顶部菜单栏的治理工作台,默认进入治理项问题页面。
- 单击左侧导航栏的优雅下线。
- 在页面上方工作空间下拉框中选择待下线任务所在的工作空间,下拉列表中仅展示您已加入的工作空间。若您需要加入某个工作空间,可联系该空间管理员进行添加,详情请参见添加空间成员并管理成员角色权限。
- 单击优雅下线页面中的新建计划。
选择下线对象
您可以在新建计划界面的下线对象区域单击添加任务,添加需要纳入该下线计划的任务,在添加任务界面您还可以查看纳入下线计划的任务相关信息。例如,节点直接下游、产出表个数、产出表是否被消费等,帮助您评估任务下线的影响及风险。
说明
- 已经处在下线计划中的任务不能被选择下线(即一个任务只能存在于一个下线计划中)。
- 对位于1级基线上的任务可以创建下线计划,位于3、5、7、8级等高等级基线上的任务不能在下线计划中被选择下线。基线详情请参见基线管理。
- 特殊类型的任务不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。
配置处理流程
您可以在新建计划界面的处理流程区域对于任务整体的下线流程,进行精细化的配置。包括启动下线、延迟调度、暂停调度、下线任务、重命名产出表、删除产出表、完成下线等阶段,启动下线计划到最终完成下线过程中,每一阶段均支持您自主选择是否执行该阶段,若您不勾选某步骤,将默认跳过该步骤执行,直接进入下一阶段。
配置项 | 说明 |
---|---|
发送通知 | 支持系统内提示、邮件、钉钉机器人等方式发送给指定人员。钉钉机器人的相关配置,详情请参见:场景实践:发送报警消息至钉钉群。 说明 系统内提示信息,请前往 页面进行查看。 |
通知人员 | 支持通知给任务责任人、下线任务产出表负责人、下线任务所处基线负责人等受影响方,各阶段支持通知人员请以界面为准。 |
静默时长 | 当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行任务下线操作。 |
定义计划执行方式
设置下线计划各阶段执行方式,您可选择人工触发步骤执行或全自动触发步骤执行。
- 人工触发步骤执行:下线流程的每一个步骤,需要下线计划创建者人工确认后,才能进入下一个步骤。
- 全自动触发步骤执行:下线流程的每一个步骤,按照配置的静默时间,到期后,进入下一个步骤。
查看并管理下线计划
您可以在优雅下线界面查看下线计划列表,并可执行、取消或删除任务下线计划中的全部任务。
说明
- 取消任务下线计划,仅取消执行中的任务,已完成下线的任务不受影响。
- 删除任务下线计划时,系统将先取消执行中的任务,已完成下线的任务不受影响,取消成功后将会删除该下线计划。删除后该操作不可逆。