查看周期实例

更新时间:2025-03-24 02:33:42

周期实例是基于周期任务的调度配置,自动生成的实例快照。您可以通过列表及DAG图的方式,快速查看实例的详细信息并执行相关操作。

使用须知

  • 正常任务:即真实执行代码逻辑的任务,不包括空跑(调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等)与被冻结的任务。

  • 运维环境说明:在标准模式工作空间下,您可通过界面左上角切换开发运维中心和生产运维中心。任务在开发运维中心不会自动调度,即在周期实例面板中不会产生自动调度执行的周期实例。

  • 任务运行与问题定位

    • 调度任务运行需要满足上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等条件,详情请参见任务运行条件

    • 如果任务为未运行状态,建议您先通过DAG面板中的上游分析功能,快速定位阻塞当前任务运行的关键上游任务;再通过运行诊断功能,诊断关键实例未运行的原因或存在的问题。若任务依赖较复杂,您可通过该功能快速定位问题,提升运维效率。

使用限制

  • 版本要求:

    • DataWorks专业版及以上版本用户才可以使用运行诊断功能,目前支持您免费体验,但建议升级至专业版以获取更多产品能力。详情请参见智能诊断

    • DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。详情请参见DataWorks版本服务计费说明

  • 权限管控:

    部分功能仅支持有运维权限的用户进行操作,如果功能入口置灰或者没有功能入口,请进入管理中心 > 工作空间 > 空间成员页面检查目标用户是否有运维权限。详情请参见进入管理中心空间级模块权限管控

  • 功能限制:

    • 不支持手动删除周期实例,实例在过期后(30天左右)平台将自动删除。如果任务不再需要运行,可以选择冻结实例。

    • 公共调度资源组上执行的任务,其实例保留一个月(30天)、日志保留一周(7天)。

    • 独享调度资源组上执行的任务,其实例、日志保留一个月(30天)。

    • 运行完成状态的实例,当日志大于3M时,平台每天会定时清理。

注意事项

  • 周期任务定时生成周期实例,实例会按最新的代码运行任务。如果您的任务在实例生成后修改了代码并重新提交发布,则未运行的实例会拉取最新的代码运行任务。

  • 如果您需要监控任务的执行情况,需要先对该任务设置相应的监控规则,详情请参见智能监控概述。对于配置了监控报警的任务,如果运行失败但您未收到报警信息,请检查是否已在报警联系人页面配置了您的手机号码与邮箱地址,详情请参见报警信息

  • 首次生成周期实例的时间与您选择的实例生成方式有关,实例生成方式包括T+1次日生成发布后即时生成,详情请参见实例生成方式

    说明

    手动重跑任务不会触发自定义规则报警。

进入周期实例页面

  1. 进入运维中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏单击周期任务运维 > 周期实例,进入周期实例页面。

    在该页面,您可通过不同视角查看实例的运行情况。

周期实例视角

查看实例列表

智能搜索模式

通过周期任务的智能搜索功能,您只需输入搜索内容,系统将自动解析并快速筛选出所需查看的实例列表。

  1. 进行智能搜索。

    单击周期任务筛选框中的智能搜索按钮,在弹出的对话框中输入您要搜索的内容,例如按实例类型进行排序,然后按Enter键确认,系统将自动匹配并显示相关实例。

  2. 保存新视图。

    如果您后续需要使用智能搜索中的实例搜索条件,可以单击搜索栏中的未保存视图 > 另存为新视图,在保存视图对话框中自定义视图名称,并单击保存。后续可在视图搜索栏中找到并使用该新视图进行实例搜索。

    说明

    如果您后续不想使用该新视图进行实例搜索,可以在视图搜索栏中找到您创建的视图名称。鼠标悬浮在视图名称上,点击右侧的...按钮,选择编辑删除视图。

  3. 关闭智能搜索。

    如果您需要通过条件筛选进行精准搜索,可以按Esc键或点击实例操作栏中的关闭智能搜索按钮退出智能搜索模式。

条件筛选模式

使用周期实例的条件筛选功能,您可以根据提供的筛选条件精准筛选出所需的实例列表。

  1. 简单条件筛选。

    您可在工具栏中根据任务名称/任务ID/实例ID调度资源组24小时产生告警长时间等待资源等相关信息,依次选择多个筛选条件,筛选出所需查看的实例列表。

  2. 复杂条件筛选。

    通过单击周期实例筛选框中的筛选按钮,您可以根据任务名称/任务ID/实例ID调度资源组运行时间计算资源名称等多种条件进行组合筛选,从而精确地找到所需的实例列表。

操作周期实例

单个实例操作

若要操作某个周期实例,请在周期实例列表中找到该实例,并在实例操作栏中使用相应功能进行操作,具体功能说明如下:

功能

说明

功能

说明

DAG

展示周期实例的上下游依赖关系,您可在DAG图中进行相关操作。详情请参见附录:DAG图功能介绍

运行诊断

对任务进行全链路分析,当任务运行不符合预期时,可使用该功能定位问题。详情请参见智能诊断

重跑

对运行成功失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。

更多

重跑下游

对运行成功失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。

置成功

用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。

终止运行

用于终止不需要运行的任务,任务终止后,将失败退出。仅支持对状态为等待时间等待资源运行中的实例进行终止操作。

暂停(冻结)

当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞其下游节点执行(下游任务都不会自动调度)。

说明
  • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

  • 等待资源等待时间运行中(例如,节点代码运行中、数据质量检验中)状态不支持冻结操作。

恢复(解冻)

用于将冻结状态的实例解冻。

  • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。

  • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。

说明

解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。

查看血缘

查看当前实例的血缘信息。

查看周期任务详情

查看当前实例的基本信息。

查看运行日志

任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录:运行日志参数介绍

修改调度资源组

修改当前实例运行所使用的调度资源组。该操作不会同步修改实例所在周期任务的资源组。

批量实例操作

若要批量操作某些周期实例,请在周期实例列表中勾选所需操作的周期实例,并在实例下方对这些实例进行批量终止运行重跑置成功修改资源组暂停(冻结)恢复(解冻)操作。

查看周期任务DAG

单击周期实例操作栏中的DAG按钮,即可进入周期实例DAG图详情页面。

DAG面板功能

在周期实例DAG详情页面,您可以通过以下功能在DAG面板中进行节点聚合、下游分析和DAG图显示样式调整。

功能

说明

功能

说明

image

您可以根据实际需要,单击左上角的这些功能图标,您可通过以下维度对实例信息进行聚合处理。

  • 不聚合

  • 按所属工作空间聚合

  • 按责任人聚合

  • 按优先级聚合

image

当周期任务的数量或层级过多时,您可以使用上游分析下游分析功能,统计当前任务影响的上下游任务数。

image

您可以根据实际需要,单击右上角的这些功能图标,调整DAG图的显示样式。

DAG操作

在周期实例DAG详情页面,右键单击流程中的实例,即可查看其上下游关系及代码详情等相关信息。具体操作如下:

  • 展开父节点:查看当前节点的上游任务,用于了解哪些节点将影响当前节点的数据产出。支持按照层级展开父节点,最多支持一次展开6级。

  • 展开子节点:查看当前节点的下游任务,用于了解当前节点将影响哪些节点的数据产出。支持按照层级展开子节点,最多支持一次展开6级。

  • 查看运行日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,详情请参见附录:运行日志参数介绍

  • 运行诊断:用于对任务上游依赖、定时检查、调度资源、任务运行状态进行诊断检查。

  • 查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。

  • 编辑节点:单击后即可跳转至数据开发页面打开当前节点。

  • 查看血缘:查看当前实例的血缘信息。

  • 查看更多详情:查看实例的基本属性、操作日志、任务代码等信息。

  • 查看周期任务:查看当前实例所属的周期任务信息。

  • 前往任务360:进入数据治理中心,从任务关联的基线列表、实例运行情况等多个维度全景了解任务运行详情,进行任务治理。详情请参见全景查看任务

  • 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作。

  • 重跑:对运行成功失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。

  • 重跑下游:对运行成功失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。

  • 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。

  • 续跑:用于续跑失败状态的任务,续跑将从任务执行失败的位置继续运行,即当任务中存在多段SQL的情况下,续跑可从具体失败的SQL处重新运行该任务。

    说明

    MaxComputeSQL任务支持此操作。

  • 触发DQC校验:若任务配置了数据质量规则,则可进行相关规则校验。

  • 紧急操作:紧急操作只对当前节点本次有效。

    • 去除依赖:对指定任务去除依赖,可通过该功能解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,紧急去除任务的上游依赖,使当前任务能够运行。

      说明

      需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。

    • 修改优先级:实例任务的优先级源于实例所在基线的优先级,您可在此处根据需要重新设置,数值越大,优先级越高。

    • 强制重跑:用于强制重跑当前节点,支持对运行成功、运行失败、未运行的周期实例进行此操作,常用于数据修复。

    • 强制重跑下游:用于重刷业务日期昨天和前天的数据,仅支持对运行成功、运行失败的周期实例进行此操作,常用于数据修复。详情请参见附录:强制重跑下游

      说明

      仅工作空间管理员、租户管理员、阿里云主账号可以发起强制重跑下游的操作。

    • 克隆实例:可基于当前运行中状态的实例(宿主实例),生成一个配置相同的新实例(克隆实例)。新实例命名格式为dw_clone_节点名

      说明
      • 仅支持克隆ODPS SQL类型节点实例,且每个实例只能克隆一次。

      • 宿主实例与克隆实例的执行逻辑:

        • 宿主实例与克隆实例均处于运行中状态。若宿主实例先运行成功,则克隆实例将被停止运行;若克隆实例先运行成功,则宿主实例将被停止运行并置为运行成功状态。

        • 若当前任务的下游任务存在克隆实例,则重跑下游不会触发克隆实例执行。

  • 暂停(冻结):如某实例及其下游实例都不需要运行时,可冻结该实例。

    重要
    • 上游实例被冻结,会阻塞下游实例的运行,请谨慎操作。

    • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

    • 等待资源等待时间运行中(例如,节点代码运行中、数据质量检验中)状态不支持冻结操作。

  • 恢复(解冻):用于将冻结状态的实例解冻。

    • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。

    • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。

    说明

    解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。

查看实例详情

在实例DAG中,左键单击具体实例,在弹出的窗口中单击查看日志,或展开详情以查看详细属性运行日志操作日志代码等信息。

功能

描述

功能

描述

属性

您可以在此页签查看任务在生产环境的调度属性。界面参数详情请参见:调度配置

  • 节点ID和实例ID的关系:

    对于小时或分钟调度的节点任务,您可基于节点ID定位该节点当天生成的所有小时或分钟实例,若要定位到某个具体的小时或分钟实例,您可通过实例ID进行精准定位。

  • 任务状态:任务状态与任务运行有关,若任务处于未运行、等待时间、等待资源、冻结等状态时,您可以通过运行诊断来快速定位问题。

  • 等待资源耗时:当任务出现长时间等待资源的情况,您可以使用运行诊断功能定位当前任务运行时,哪些任务在占用资源,快速找到异常任务进行排查。

  • 运行时长:当任务运行时间与历史运行情况相比明显变长,您可参考以下场景进行处理。

    • 非同步任务:可咨询对应引擎负责人。

    • 离线同步任务:可能任务某个阶段执行较慢或处于长时间等待资源状态。详情请参见离线同步常见问题

  • 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理

    说明

    此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。

  • 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理

  • 标签:此处展示您在标签管理中自定义的标签,如果当前节点存在待治理问题,也会以标签形式展示,您可以前往数据治理中心查看详情。

运行日志

任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,详情请参见附录:运行日志参数介绍

操作日志

用于查看任务或实例的操作记录(时间、操作人、具体操作)。

代码

用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经成功发布。详情请参见发布任务

业务流程视角

单击周期实例页面的业务流程视角页签,进入业务流程视角运维界面。

说明

业务流程视角下,仅展示业务流程内的依赖,如果存在跨业务流程、工作空间的依赖,您需要切换至周期实例视角进行查看。

查看业务流程列表

功能

描述

功能

描述

业务流程运行状态概览

业务流程列通过可视化图标为您展示业务流程的运行状态,列表模式中统计正常任务,即不包括空跑类型和冻结类型的任务,DAG面板中将会展示所有类型的任务。

  • 运行中:当前业务流程下,运行中状态的实例个数。

  • 成功:当前业务流程下,运行成功的实例个数。

  • 失败:当前业务流程下,运行失败的实例个数。

  • 其他:当前业务流程下,非上述状态的实例个数。

业务流程运维操作

您可以对业务流程进行如下操作:

  • DAG:用于查看该业务流程DAG图。业务流程视角下,将默认对该业务流程下的小时分钟任务进行成组展示,业务流程视角下单个实例的操作与周期实例视角的操作一致。详情请参见DAG面板功能

  • 重跑:用于重跑当前业务流程下所有任务或指定任务。

  • 终止运行:用于终止当前运行中的业务流程。

  • 冻结:用于冻结当前业务流程的运行,冻结后该业务流程下的实例将不会执行。

  • 解冻:用于对冻结状态的业务流程进行解冻操作,解冻后将默认业务流程为失败状态,您可重跑该业务流程。

  • 置成功:用于置成功当前业务流程,置成功后业务流程下的节点将显示为成功状态。

附录:运行日志参数介绍

任务启动运行后,您可通过运行日志查看任务的运行详情,日志中的核心参数介绍如下。

参数

描述

参数

描述

SKYNET_ONDUTY

任务责任人。

SKYNET_PARAVALUE

调度参数列表。

SKYNET_TASKID

实例ID。

SKYNET_ID

节点ID。

SKYNET_NODENAME

节点名称。

SKYNET_APPNAME

工作空间名称。

SKYNET_REGION

工作空间所在地域。

SKYNET_CYCTIME

节点的定时运行时间。

常见问题

更多常见问题,详情请参见问题汇总

  • 本页导读 (1)
  • 使用须知
  • 使用限制
  • 注意事项
  • 进入周期实例页面
  • 周期实例视角
  • 查看实例列表
  • 操作周期实例
  • 查看周期任务DAG图
  • 业务流程视角
  • 查看业务流程列表
  • 附录:运行日志参数介绍
  • 常见问题