文档

优雅下线

更新时间:

对于数据治理过程中的无效任务或表,数据治理中心为您提供完整的下线方案,包含下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等问题,同时提供批量下线功能,方便统一管理和执行,为您提升下线效率。

背景信息

与传统直接下线操作相比,优雅下线增加了下线影响分析、下线过程管理等流程。在各个阶段支持通过多种方式给相关人员发送下线任务通知。

序号

操作

说明

1

选择下线对象

您可以选择下线对象,并评估影响面和风险,支持您手动选择下线对象或系统自动推荐下线对象。

2

配置处理流程

您可以管理下线的全过程:

  • 支持您对待下线任务设置延迟调度、暂停调度等,同时您还可以设置任务静默时长。

    • 延迟调度:将待下线对象的定时时间延长,让待下线对象及其下游对象产出的表数据延迟产出。

    • 暂停调度:将待下线对象的状态设置为暂停(冻结),即在运维中心 > 周期任务界面中的该任务置为冻结状态,待下线对象及其下游对象将不再产出表数据。

  • 支持您重命名下线对象产出的表数据,并在静默时间后,对该表进行最终下线操作。

说明

静默时长:当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,下线任务暂停调度到达静默时长后,才可进行下线对象操作。

3

定义计划执行方式

下线流程的每一个步骤,支持您选择人工触发或全自动触发步骤执行。

4

查看并管理下线计划

您可以查看已创建的下线计划详情,并对下线计划中添加的各个子任务进行查看执行详情、取消、回滚等操作。

使用限制

  • 仅空间管理员及运维人员可创建下线计划。角色添加详情请参见添加空间成员并管理成员角色权限

  • 下线计划仅支持添加单个工作空间下的待下线对象。

  • 仅空间管理员可对下线计划进行全部操作。运维人员只能操作自己创建的下线计划,对于其他下线计划仅拥有读权限。

  • 一个下线计划中最多可添加200个下线对象。

注意事项

  • 已经处在下线计划中的对象不能被选择下线(即一个对象只能存在于一个下线计划中)。

  • 特殊类型的对象不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。

  • 待下线对象存在下游依赖时,若受影响的下游对象未在规定时间内主动移除与待下线对象的调度依赖,系统将会再生成一个虚拟节点,将下游任务挂到虚拟节点上。

  • 各类型节点实际支持的步骤请以产品界面提示为准。

新建下线计划

  1. 进入数据治理。

    1. 登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

    2. 单击顶部菜单栏左侧的图标图标,选择全部产品 > 数据治理 > 数据治理中心

  2. 单击顶部菜单栏的治理工作台,默认进入治理项问题页面。

  3. 单击左侧导航栏的优雅下线

  4. 在页面上方工作空间下拉框中选择待下线对象所在的工作空间,下拉列表中仅展示您已加入的工作空间。

    若您需要加入某个工作空间,可联系该空间管理员进行添加,详情请参见添加空间成员并管理成员角色权限

  5. 单击优雅下线页面中的新建计划

    您还可以在治理项问题列表,对于需要下线的任务,单击操作列的创建下线计划,进入新建下线计划页面。

选择下线对象

您可以在下线对象区域,根据需求选择下线对象,包括任务

  • 下线任务:支持通过添加下线对象通过血缘导入两种方式添加下线任务。

  • 下线表:支持通过血缘导入添加下线表。

说明
  • 已经处在下线计划中的对象不能被选择下线(即一个对象只能存在于一个下线计划中)。

  • 特殊类型的对象不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。

配置处理流程

在添加完下线对象后,您可以对整体的下线流程进行精细化的配置,包括启动下线、延迟调度、暂停调度、下线任务、重命名产出表、删除产出表、完成下线等阶段,启动下线计划到最终完成下线过程中,每一阶段均支持您自主选择是否执行该阶段,若您不勾选某步骤,将默认跳过该步骤执行,直接进入下一阶段。

配置项

说明

发送通知

支持系统内提示、邮件、钉钉机器人等方式发送给指定人员。钉钉机器人的相关配置,详情请参见:场景实践:发送报警消息至钉钉群

说明

系统内提示信息,请前往数据治理中心 > 治理工作台 > 我的待办 > 治理提醒页面进行查看。

通知人员

支持通知给下线任务责任人、下线任务产出表负责人、下线任务所处基线负责人等受影响方,各阶段支持通知人员请以界面为准。

静默时长

当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行下线操作。

定义计划执行方式

设置下线计划各阶段执行方式,您可选择人工触发步骤执行或全自动触发步骤执行。

  • 人工触发步骤执行:下线流程的每一个步骤,需要下线计划创建者人工确认后,才能进入下一个步骤。

  • 全自动触发步骤执行:下线流程的每一个步骤,按照配置的静默时间,到期后,进入下一个步骤。

查看并管理下线计划

您可以在优雅下线界面查看下线计划列表,并可执行取消删除下线计划中的全部对象。

说明
  • 取消下线计划,仅取消执行中的任务,已完成下线的任务不受影响。

  • 删除下线计划时,系统将先取消执行中的任务,已完成下线的任务不受影响,取消成功后将会删除该下线计划。删除后该操作不可逆。

您还可以单击操作列的执行详情查看下线计划的配置详情,同时,您可以对下线计划中的单个下线任务进行如下操作:

功能

说明

查看执行详情

查看单个任务下线详情,包括流程执行进度、状态及各流程执行详情,同时您还可以对当前任务的下线流程进行取消、回滚等操作。

  • 取消任务:您可以取消当前任务下线流程中未完成的步骤。

  • 回滚任务:您可以将当前任务所有下线步骤回滚到初始状态,不支持单个步骤的回滚操作。

    说明
    • 如果下线计划已取消,则不支持回滚操作。

    • 如果子步骤在执行中,则不支持回滚操作。

前往运维

快速进入生产运维中心,查看任务的运维详情。

前往编辑

快速进入数据开发界面,编辑任务。

  • 本页导读 (1)