对于数据治理过程中的无效任务或表,数据治理中心为您提供完整的下线方案,包含下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等问题,同时提供批量下线功能,方便统一管理和执行,为您提升下线效率。
背景信息
与传统直接下线操作相比,优雅下线增加了下线影响分析、下线过程管理等流程。在各个阶段支持通过多种方式给相关人员发送下线任务通知。
序号 | 操作 | 说明 |
1 | 您可以选择下线对象,并评估影响面和风险,支持您手动选择下线对象或系统自动推荐下线对象。 | |
2 | 您可以管理下线的全过程:
说明 静默时长:当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,下线任务暂停调度到达静默时长后,才可进行下线对象操作。 | |
3 | 下线流程的每一个步骤,支持您选择人工触发或全自动触发步骤执行。 | |
4 | 您可以查看已创建的下线计划详情,并对下线计划中添加的各个子任务进行查看执行详情、取消、回滚等操作。 |
使用限制
仅空间管理员、租户级数据治理管理员/工作空间级数据治理管理员及运维人员可创建下线计划。角色添加详情请参见添加空间成员并管理成员角色权限。
下线计划仅支持添加单个工作空间下的待下线对象。
仅阿里云主账号、授予AliyunDataWorksFullAccess权限的RAM用户、空间管理员可对下线计划进行全部操作。运维人员只能操作自己创建的下线计划,对于其他下线计划仅拥有读权限。租户级数据治理管理员/工作空间级数据治理管理员只能进行计划的创建、配置和删除,无法进行无权限任务的启动执行。
一个下线计划中最多可添加200个下线对象。
优雅下线功能支持在下线任务步骤前对任务操作进行回滚,在完成下线步骤前对表操作进行回滚。
注意事项
已经处在下线计划中的对象不能被选择下线(即一个对象只能存在于一个下线计划中)。
特殊类型的对象不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。
待下线对象存在下游依赖时,若受影响的下游对象未在规定时间内主动移除与待下线对象的调度依赖,系统将会再生成一个虚拟节点,将下游任务挂到虚拟节点上。
各类型节点实际支持的步骤请以产品界面提示为准。
新建下线计划
进入数据治理。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
单击顶部菜单栏左侧的图标,选择 。
单击顶部菜单栏的治理工作台,默认进入治理项问题页面。
单击左侧导航栏的优雅下线。
在页面上方工作空间下拉框中选择待下线对象所在的工作空间,下拉列表中仅展示您已加入的工作空间。
若您需要加入某个工作空间,可联系该空间管理员进行添加,详情请参见添加空间成员并管理成员角色权限。
单击优雅下线页面中的新建计划。
您还可以在治理项问题列表,对于需要下线的任务,单击操作列的创建下线计划,进入新建下线计划页面。
选择下线对象
您可以在下线对象区域,根据需求选择下线对象,包括任务或表:
下线任务:支持通过添加下线对象或通过血缘导入两种方式添加下线任务。
下线表:支持通过血缘导入添加下线表。
已经处在下线计划中的对象不能被选择下线(即一个对象只能存在于一个下线计划中)。
特殊类型的对象不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。
配置处理流程
在添加完下线对象后,您可以对整体的下线流程进行精细化的配置,包括启动下线、延迟调度、暂停调度、下线任务、重命名产出表、删除产出表、完成下线等阶段,启动下线计划到最终完成下线过程中,每一阶段均支持您自主选择是否执行该阶段,若您不勾选某步骤,将默认跳过该步骤执行,直接进入下一阶段。
配置项 | 说明 |
发送通知 | 支持系统内提示、邮件、钉钉机器人等方式发送给指定人员。钉钉机器人的相关配置,详情请参见:场景实践:发送报警消息至钉钉群。 说明 系统内提示信息,请前往 页面进行查看。 |
通知人员 | 支持通知给下线任务责任人、下线任务产出表负责人、下线任务所处基线负责人等受影响方,各阶段支持通知人员请以界面为准。 |
静默时长 | 当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行下线操作。 |
定义计划执行方式
设置下线计划各阶段执行方式,您可选择人工触发步骤执行或全自动触发步骤执行。
人工触发步骤执行:下线流程的每一个步骤,需要下线计划创建者人工确认后,才能进入下一个步骤。
全自动触发步骤执行:下线流程的每一个步骤,按照配置的静默时间,到期后,进入下一个步骤。
查看并管理下线计划
您可以在优雅下线界面查看下线计划列表,并可执行、取消或删除下线计划中的全部对象。
取消下线计划,仅取消执行中的任务,已完成下线的任务不受影响。
删除下线计划时,系统将先取消执行中的任务,已完成下线的任务不受影响,取消成功后将会删除该下线计划。删除后该操作不可逆。
您还可以单击操作列的执行详情查看下线计划的配置详情,同时,您可以对下线计划中的单个下线任务进行如下操作:
功能 | 说明 |
查看执行详情 | 查看单个任务下线详情,包括流程执行进度、状态及各流程执行详情,同时您还可以对当前任务的下线流程进行取消、回滚等操作。
|
前往运维 | 快速进入生产运维中心,查看任务的运维详情。 |
前往编辑 | 快速进入数据开发界面,编辑任务。 |