周期实例是周期任务达到启用调度所配置的周期性运行时间时,被自动调度的实例快照。您可以通过列表及DAG图的方式,快速查看实例的详细信息并执行相关操作。

周期任务每调度一次,便生成一个实例工作流。您可以对已调度的实例任务进行日常的运维管理,例如查看运行状态,对任务进行终止、重跑和解冻等操作。
说明
  • 周期任务定时生成周期实例,实例会按最新的代码运行任务。如果您的任务在实例生成后修改了代码并重新提交发布,则未运行的实例会拉取最新的代码运行任务。
  • 如果任务失败未报警,请首先检查是否已在个人信息页面配置了您的手机号码与邮箱地址。
  • 您需要购买DataWorks专业版及以上版本,周期实例即可支持运行诊断功能,详情请参见运行诊断

使用限制

  • 目前仅周期实例支持在任务失败时产生报警。
  • 如果周期实例和补数据实例均启动运行,为了保证周期实例的正常运行,您需要终止补数据实例的运行。
  • DAG图的功能限制如下:
    • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。
    • DataWorks基础版和标准版用户可以免费试用节点聚合、上游分析、下游分析功能至2021年5月31日,到期后,必须升级DataWorks至专业版才可以继续使用该功能。升级DataWorks版本,详情请参见DataWorks增值版本
    • 当前仅华南1(深圳)地域支持使用DAG图的节点聚合、上游分析、下游分析功能。

周期实例列表

周期实例列表以列表形式对被调度的任务进行运维和管理,包括检查运行日志、重跑任务、终止正在运行的任务等。周期实例
操作 描述
筛选 在上图的模块1区域,您可以通过筛选条件过滤出需要查询的实例。

您可以根据节点名称节点ID业务日期节点类型运行日期解决方案业务流程Region引擎类型引擎实例基线责任人调度类型运行状态我的节点我的出错节点我的未完成节点等条件进行精确筛选。

说明 默认筛选的业务日期是当前时间的前一天。
终止运行 仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作,进行该操作后,该实例的状态被置为失败
重跑 可以重跑某任务,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理出错节点和漏跑节点。
说明 仅支持重跑成功失败状态的任务。
重跑下游 可以重跑某任务及其下游任务,需要您自定义勾选,勾选的任务将被重跑,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理数据修复。
说明 仅支持勾选未运行成功失败状态的任务,如果勾选了其它状态的任务,页面会提示已选节点中包含不符合运行条件的节点,并禁止提交运行。
置成功 修改当前节点的状态为成功,并运行下游未运行状态的任务。常用于处理出错节点。
说明 仅支持置成功状态为失败的任务,不能置成功业务流程。
暂停(冻结) 周期实例中的冻结只针对当前实例,且正在运行中的实例。
恢复(解冻) 可以将冻结状态的实例解冻。
  • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。
  • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。
批量操作 在上图的模块3区域,您可以批量选择任务,进行终止运行重跑置成功冻结解冻等操作。

实例DAG图

单击相应任务后的DAG图,打开该任务的DAG图。您可以在DAG图中进行如下操作:DAG功能展示
  • 节点聚合
    当周期实例任务的节点数量或层级过多时,您可以按照任务状态、工作空间、责任人、优先级等维度进行节点任务聚合,查看指定目标维度的节点数量。方便您了解各个维度节点任务的数量,合理分配并执行节点任务。以下示例为您展示,周期任务节点不聚合按优先级聚合的显示情况。
    • 周期任务节点不聚合时,显示如下图所示。不聚合
    • 周期任务节点按照优先级聚合时,显示如下图所示。您可以快速了解到当前周期任务的子节点共有6个优先级为1的节点任务。按优先级聚合节点任务
  • 上游节点分析
    周期任务通常存在上下游依赖关系,如果目标节点长时间未运行,则您可以对其进行上游节点分析,在DAG图中查看阻塞当前节点运行的上游节点,快速定位并及时处理相关运行报错,提升任务的执行效率。
    说明 仅支持对未运行的节点执行上游分析操作。
    示例2_节点任务长时间未运行,则您可以选中该节点,单击左上角的上游分析目标节点未运行分析结果得出,导致阻塞当前节点运行的上游节点任务为数据表同步指标统计,如下图所示。通过该分析结果,您可以快速定位阻塞节点,并及时处理相关报错。上游分析结果。
  • 下游节点分析
    当周期任务的节点数量或层级过多时,您可以进行下游节点分析,通过任务状态、工作空间、责任人、优先级等维度进行筛选,统计不同层级目标维度的节点数量,或统计所有层级目标维度的节点总数量。
    说明
    • 下游节点默认按照责任人聚合,统计所有层级该维度的节点总数量。
    • 下游分析使用分层展示下游节点分析结果时,最多展示6层。如果您希望展示更多层级,请单击左上角的继续分析
    示例对tag节点进行下游分析,结果如下:
    • 使用分层方式,并按照所属工作空间聚合,在不同层级展示不同工作空间的节点数量。分层展示下游分析结果
    • 使用合并方式,并按照所属工作空间聚合,将所有下游节点合并至同一层,展示所属不同工作空间的节点数量。使用合并方式展示下游分析结果
  • 选择DAG图的显示样式。

    您可以根据实际需要,单击DAG图所在界面右上角的功能图标,调整DAG图的显示样式。例如,全屏展示适配屏幕展示等。

    示例对0_2节点的下游节点,展示拆分组成组的DAG图。
    • 拆分组的DAG图如下所示。通过该方式,您可以直观的了解到所有节点的上下游关系。未拆分组展示下游节点
    • 成组的DAG图如下所示。通过该方式,以每行呈现5个节点任务,有序的为您展示下游节点,方便您快速获取下游节点的总数量。成组展示下游节点
  • 右键单击目标节点,执行相关操作。DAG图
    操作 描述
    展开父节点/子节点 当一个业务流程有3个及以上节点时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。
    查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。
    运行诊断 DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题。详情请参见运行诊断
    查看代码 查看当前实例的代码。
    编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
    查看血缘 查看当前实例的血缘关系。
    查看更多详情 单击后,即可查看当前节点的属性上下文运行日志操作日志代码等信息。
    终止运行 仅等待运行、运行中状态的实例可以进行终止运行的操作。进行此操作后,该实例将为失败状态。
    重跑 可以重跑某任务,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理出错节点和漏跑节点。
    说明 仅支持重跑未运行成功失败状态的任务。
    重跑下游 可以重跑某任务及其下游任务,需要您自定义勾选,勾选的任务将被重跑,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理数据修复。
    说明 仅支持勾选未运行完成失败状态的任务,如果勾选了其它状态的任务,页面会提示已选节点中包含不符合运行条件的节点,并禁止提交运行。
    置成功 将当前实例的状态改为成功,并运行下游未运行状态的任务。常用于处理出错节点。
    说明 仅支持将状态为失败的任务置成功,不能置成功业务流程。
    续跑 任务执行失败后,可以续跑此任务。
    紧急操作 当前实例在非常紧急的情况下的操作,紧急操作只对当前节点本次有效。

    选择去除依赖,即可解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,启动此节点。

    暂停(冻结) 周期实例中的冻结仅针对当前实例,且正在运行中的实例。
    恢复(解冻) 可以将冻结状态的实例解冻。
    • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。
    • 如果上游任务都运行完毕,则该任务会直接被置为失败。需手动重跑后,方会正常运行。

实例状态说明

序号 状态类型 状态标识
1 运行成功状态 1
2 未运行状态 2
3 运行失败状态 3
4 正在运行状态 4
5 等待状态 5
6 冻结状态 6