查看周期实例

周期实例是周期任务达到启用调度所配置的周期性运行时间时,被自动调度的实例快照。您可以通过列表及DAG图的方式,快速查看实例的详细信息并执行相关操作。

使用须知

  • 正常任务:即真实执行代码逻辑的任务,不包括空跑(调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等)与被冻结的任务。

  • 运维环境说明:在标准模式工作空间下,您可通过界面左上角切换开发运维中心和生产运维中心。任务在开发运维中心不会自动调度,即在周期实例面板中不会产生自动调度执行的周期实例。

  • 任务运行与问题定位

    • 调度任务运行需要满足上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等条件,详情请参见任务运行条件

    • 如果任务为未运行状态,建议您先通过DAG面板中的上游分析功能,快速定位阻塞当前任务运行的关键上游任务;再通过运行诊断功能,诊断关键实例未运行的原因或存在的问题。若任务依赖较复杂,您可通过该功能快速定位问题,提升运维效率。

使用限制

  • 版本要求:

    • 仅DataWorks专业版及以上版本用户才可以使用运行诊断功能,目前支持您免费体验,但建议升级至专业版以获取更多产品能力。详情请参见智能诊断

    • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。详情请参见DataWorks版本服务计费说明

  • 权限管控:

    部分功能仅支持有运维权限的用户进行操作,如果功能入口置灰或者没有功能入口,请进入管理中心 > 工作空间 > 空间成员页面检查目标用户是否有运维权限。详情请参见进入管理中心空间级模块权限管控

  • 功能限制:

    • 不支持手动删除周期实例,实例在过期后(30天左右)平台将自动删除。如果任务不需要再运行,可以选择冻结实例。

    • 公共调度资源组上执行的任务,其实例保留一个月(30天)、日志保留一周(7天)。

    • 独享调度资源组上执行的任务,其实例、日志保留一个月(30天)。

    • 运行完成状态的实例,当日志大于3M时,平台每天会定时清理。

注意事项

  • 周期任务定时生成周期实例,实例会按最新的代码运行任务。如果您的任务在实例生成后修改了代码并重新提交发布,则未运行的实例会拉取最新的代码运行任务。

  • 如果您需要监控任务的执行情况,需要先对该任务设置相应的监控规则,详情请参见智能监控概述。对于配置了监控报警的任务,如果运行失败但您未收到报警信息,请检查是否已在报警联系人页面配置了您的手机号码与邮箱地址,详情请参见报警信息

  • 首次生成周期实例的时间与您选择的实例生成方式有关,实例生成方式包括T+1次日生成发布后即时生成,详情请参见实例生成方式

    说明

    手动重跑任务不会触发自定义规则报警。

进入周期实例页面

  1. 进入运维中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 在左侧导航栏单击周期任务运维 > 周期实例,进入周期实例页面。

    在该页面,您可通过不同视角查看实例的运行情况。

周期实例视角

单击周期实例 > 实例视角,进入周期实例视角运维界面。

查看实例列表

周期实例

功能

描述

筛选指定条件的实例(区域1)

您可通过筛选条件过滤出需要查询的实例。

说明
  • 默认筛选的业务日期是当前时间的前一天。

  • 支持通过实例ID进行过滤,节点ID与实例ID的关系如下:

    • 查看某小时或分钟任务当天产生的小时或分钟调度的实例,您可基于节点ID进行过滤。

    • 查看某小时或分钟任务当天指定的小时或分钟实例,您可通过实例ID进行精准过滤。

  • 对于配置了监控报警的实例,您可勾选过去24h产生告警的节点,过滤当前时间点24小时内产生了报警的实例列表。过去24小时内产生过报警的实例,可通过单击该实例DAG图中的告警图标查看报警详情。详情请参见智能监控概述

  • 筛选条件中的变慢节点表示指定业务日期内运行状态为运行中的实例,同时运行时间大于过去10天平均值15分钟的实例,会被判定为运行慢。如果历史实例数小于4,则运行时间大于半小时的实例会被视为运行慢。

查看实例列表(区域2)

该区域展示满足过滤条件的实例列表,可查看实例的状态、基本信息、运行时间等。

操作实例(区域3、4)

您可对实例执行如下操作:

  • DAG图:展示周期实例的上下游依赖关系,您可在DAG图中进行相关操作。详情请参见附录:DAG图功能介绍

  • 运行诊断:对任务进行全链路分析,当任务运行不符合预期时,可使用该功能定位问题。详情请参见智能诊断

  • 重跑:对运行成功失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。

  • 更多

    • 重跑下游:对运行成功失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。

    • 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。

    • 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作。

    • 暂停(冻结):当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例,且正在运行中的实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞它的下游节点执行(下游任务都不会自动调度)。

      说明
      • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

      • 等待资源等待时间运行中(例如,节点代码运行中、数据质量检验中)状态不支持冻结操作。

    • 恢复(解冻):用于将冻结状态的实例解冻。

      • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。

      • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。

      说明

      解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。

    • 查看血缘:查看当前实例的血缘信息。

    • 查看周期任务详情:查看当前实例的基本信息。

    • 查看运行日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

    • 修改调度资源组:修改当前实例运行所使用的调度资源组。该操作不会同步修改实例所在周期任务的资源组。

  • 批量操作:若需要操作的实例较多,可在实例列表勾选相应实例,并在页面底部按需执行批量终止运行、重跑等操作。

查看实例DAG

周期实例

说明

DAG图中同周期依赖的节点以实线的形式展示,跨周期依赖的节点都会以虚线的形式展示。详情请参见依赖关系

功能

描述

DAG面板功能

单击任务后的DAG图,打开该任务的DAG图。您可在图中的1、2、3区域进行节点聚合、上下游分析、调整界面显示等操作,详情请参见DAG图功能介绍

操作单个实例

右键单击目标实例,即可执行如下操作:

  • 展开父节点:查看当前节点的上游任务,用于了解哪些节点将影响当前节点的数据产出。支持按照层级展开父节点,最多支持一次展开6级。

  • 展开子节点:查看当前节点的下游任务,用于了解当前节点将影响哪些节点的数据产出。支持按照层级展开子节点,最多支持一次展开6级。

  • 查看运行日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

  • 查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。

  • 编辑节点:单击后即可跳转至数据开发页面打开当前节点。

  • 查看血缘:查看当前实例的血缘信息。

  • 查看更多详情:查看实例的基本属性、操作日志、任务代码等信息。

  • 查看周期任务:查看当前实例所属的周期任务信息。

  • 前往任务360:进入数据治理中心,从任务关联的基线列表、实例运行情况等多个维度全景了解任务运行详情,进行任务治理。详情请参见全景查看任务

  • 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作。

  • 重跑:对运行成功失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。

  • 重跑下游:对运行成功失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。

  • 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。

  • 续跑:用于续跑失败状态的任务,续跑将从任务执行失败的位置继续运行,即当任务中存在多段sql的情况下,续跑可从具体失败的sql处重新运行该任务。

    说明
    • 仅MaxCompute的SQL任务支持此操作。

    • 2021年1月之后购买的独享调度资源组,如果需要升级您需要先单击申请链接加入“阿里云大数据AI平台”交流群,再扫描下方二维码加入DataWorks产品钉钉交流群,进行售前售后咨询,咨询可直接@智能机器人,值班时间段内也可直接联系值班人员。技术支持二维码

  • 触发DQC校验:若任务配置了数据质量规则,则可进行相关规则校验。

  • 紧急操作:紧急操作只对当前节点本次有效。

    • 去除依赖:对指定任务去除依赖,可通过该功能解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,紧急去除任务的上游依赖,使当前任务能够运行起来。

      说明

      需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。

    • 修改优先级:实例任务的优先级源于实例所在基线的优先级,您可在此处根据需要重新设置,数值越大,优先级越高。

    • 强制重跑:用于强制重跑当前节点,支持对运行成功、运行失败、未运行的周期实例进行此操作,常用于数据修复。

    • 强制重跑下游:用于重刷业务日期昨天和前天的数据,仅支持对运行成功、运行失败的周期实例进行此操作,常用于数据修复。详情请参见附录:强制重跑下游

      说明

      仅工作空间管理员、租户管理员、阿里云主账号可以发起强制重跑下游的操作。

    • 克隆实例:可基于当前运行中状态的实例(宿主实例),生成一个配置相同的新实例(克隆实例)。新实例命名格式为dw_clone_节点名

      说明
      • 仅支持克隆ODPS SQL类型节点实例,且每个实例只能克隆一次。

      • 宿主实例与克隆实例的执行逻辑:

        • 宿主实例与克隆实例均处于运行中状态。若宿主实例先运行成功,则克隆实例将被停止运行;若克隆实例先运行成功,则宿主实例将被停止运行并置为运行成功状态。

        • 若当前任务的下游任务存在克隆实例,则重跑下游不会触发克隆实例执行。

  • 暂停(冻结):当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例,且正在运行中的实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞它的下游节点执行(下游任务都不会自动调度)。

    说明
    • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

    • 等待资源等待时间运行中(例如,节点代码运行中、数据质量检验中)状态不支持冻结操作。

  • 恢复(解冻):用于将冻结状态的实例解冻。

    • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。

    • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。

    说明

    解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。

查看单个实例详情

在上图的模块4区域。您可以进行如下操作:

  • 查看日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

  • 展开详情:用于查看当前任务属性、上下文参数、运行日志、操作日志、代码等。详情请参见附录一:查看实例详情

业务流程视角

单击周期实例 > 业务流程视角,进入业务流程视角运维界面。

说明

业务流程视角下,仅展示业务流程内的依赖,如果存在跨业务流程、工作空间的依赖,您需要切换至周期实例视角进行查看。

查看业务流程列表

业务流程视角

功能

描述

业务流程运行状态概览

业务流程列通过可视化图标为您展示业务流程的运行状态,列表模式中统计正常任务,即不包括空跑类型和冻结类型的任务,DAG面板中将会展示所有类型的任务。

  • 运行中:当前业务流程下,运行中状态的实例个数。

  • 成功:当前业务流程下,运行成功的实例个数。

  • 失败:当前业务流程下,运行失败的实例个数。

  • 其他:当前业务流程下,非上述状态的实例个数。

业务流程运维操作

您可以对业务流程进行如下操作:

  • DAG图:用于查看该业务流程DAG图。业务流程视角下,将默认对该业务流程下的小时分钟任务进行成组展示,业务流程视角下单个实例的操作与周期实例视角的操作一致。详情请参见周期实例DAG小时分钟

  • 重跑:用于重跑当前业务流程下所有任务或指定任务。

  • 终止运行:用于终止当前运行中的业务流程。

  • 冻结:用于冻结当前业务流程的运行,冻结后该业务流程下的实例将不会执行。

  • 解冻:用于对冻结状态的业务流程进行解冻操作,解冻后将默认业务流程为失败状态,您可重跑该业务流程。

  • 置成功:用于置成功当前业务流程,置成功后业务流程下的节点将显示为成功状态。

附录一:查看实例详情

查看实例详情

功能

描述

属性

您可以在此页签查看任务在生产环境的调度属性。界面参数详情请参见:调度配置

  • 节点ID和实例ID的关系:

    对于小时或分钟调度的节点任务,您可基于节点ID定位该节点当天生成的所有小时或分钟实例,若要定位到某个具体的小时或分钟实例,您可通过实例ID进行精准定位。

  • 任务状态:任务状态与任务运行有关,若任务处于未运行、等待时间、等待资源、冻结等状态时,您可以通过运行诊断来快速定位问题。

  • 等待资源耗时:当任务出现长时间等待资源的情况,您可以使用运行诊断功能定位当前任务运行时,哪些任务在占用资源,快速找到异常任务进行排查。

  • 运行时长:当任务运行时间与历史运行情况相比明显变长,您可参考以下场景进行处理。

  • 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理

    说明

    此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。

  • 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理

  • 标签:此处展示您在标签管理中自定义的标签,如果当前节点存在待治理问题,也会以标签形式展示,您可以前往数据治理中心查看详情。

上下文

为您展示当前任务的所有输入参数和输出参数,详情请参见配置节点上下文

运行日志

任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

操作日志

用于查看任务或实例的操作记录(时间、操作人、具体操作)。

代码

用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经发布成功。详情请参见发布任务

附录二:运行日志参数介绍

任务启动运行后,您可通过运行日志查看任务的运行详情,日志中的核心参数介绍如下。

参数

描述

SKYNET_ONDUTY

任务责任人。

SKYNET_PARAVALUE

调度参数列表。

SKYNET_TASKID

实例ID。

SKYNET_ID

节点ID。

SKYNET_NODENAME

节点名称。

SKYNET_APPNAME

工作空间名称。

SKYNET_REGION

工作空间所在地域。

SKYNET_CYCTIME

节点的定时运行时间。

常见问题

更多常见问题,详情请参见问题汇总