周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,您可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍脚本实例、逻辑表实例和萃取实例的通用功能。

实例状态说明

状态 图标 说明
未运行 test 未开始运行的实例。
等待中 test 依赖的所有上游节点已经运行成功,等待到达调度时间或等待调度资源。
运行中 test 正在运行中的实例。
失败 test 运行失败的实例。

如果终止等待中或运行中状态的实例,则实例状态变更为失败。

成功 test 运行成功的实例。

空跑调度的实例系统会直接标记为运行成功。

说明 暂停实例即暂停当前周期实例的运行,不影响该任务其他周期生成的实例运行。暂停实例适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

如果您需要暂停多个周期实例的运行,可以将该任务的调度属性修改为暂停调度,详情请参见通用功能说明

核心概念

核心概念 释义
重跑 仅对当前节点操作,仅运行成功和运行失败的节点可以重跑,适用于只需要对单个节点进行操作的场景,例如:
  • 异常原因导致当前节点运行失败,下游全部未运行,需要重跑当前节点。
  • 仅需要对当前节点进行数据刷新,下游数据无需变更。
  • 需要进行重跑的节点为末节点。
重跑下游 对当前和下游运行成功或运行失败的节点进行操作,适用于需要进行全链路数据刷新或恢复的场景,例如:
  • 当前节点数据更新,下游已经全部运行完成(如重跑3天前的实例)。
  • 当前节点数据错误,下一层节点全部失败或未运行,需要当前及下游失败的节点进行重跑。
  • 当前节点的下几层均有运行失败的节点,希望按照依赖关系一次性选中重跑。
强制重跑 所有运行状态的节点均可操作,适用于当前节点不满足运行条件(上游全部运行成功、到达当前实例的定时调度时间),或系统问题导致满足运行条件仍未正常起调(低频)的场景,例如:
  • 未到达起调时间,需要提前运行。
  • 上游未全部成功,但是不依赖上游产出的数据,希望当前节点运行起来。
  • 系统问题:已满足起调条件,未正常运行(常见于逻辑表下游)。
暂停实例 只暂停当前实例,不影响这个任务对应的其他实例。
注意 如果需要暂停的任务已下发到计算引擎,则无法暂停运行。
终止 终止实例的运行,适用于任务代码有问题或任务不需要继续运行的场景,以预防数据污染。
置成功继续调度 将运行失败的实例手动置为成功的状态。适用于运行出错影响下游任务起调,但是这个实例可能对下游数据的影响在可接受范围内,先置为成功调过保证下游任务能顺利起调;或有告警的场景下,不希望继续接收到告警,先置为成功。
恢复 恢复已暂停的实例,恢复后实例就可以参与正常的调度。

周期实例运行说明

Dataphin每晚23点生成次日需要运行的周期实例,生成的实例默认是未运行状态。周期实例能开始运行,必须满足以下两个条件:
  • 依赖的上游实例全部运行成功。满足此条件后,周期实例的状态从未运行变成等待中
  • 到达当前实例的定时运行时间,且Dataphin已分配调度资源。满足此条件后,周期实例的状态从等待中变成了运行中

页面介绍

请参见入口介绍,进入周期实例页面。周期实例运维列表页面包括脚本实例、逻辑表实例和萃取实例。周期实例页面默认为您展示业务日期为昨天的实例。

周期实例页面以列表和DAG图的方式,为您展示系统已生成的周期实例。列表为您展示周期实例支持的运维管理操作,包括快速查看脚本实例、逻辑表实例和萃取实例的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
  • 周期实例列表

    周期实例列表页面展示当前业务类型的实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、 负责人、 资源组及支持的操作。

    trat
    操作 描述
    筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的实例。
    筛选项包括:
    • 我的失败实例:调度负责人为您自己,且运行失败的实例。
    • 我的未完成实例:调度负责人为您自己,且未运行的实例。
    • 业务日期:默认展示业务日期为昨天的实例数据,您可以手动切换业务日期。
    • 业务类型:支持选择脚本实例、萃取实例和逻辑表实例。
    • 细分类型:
      • 业务类型选择为脚本实例时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR、SHELL、PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL(流批一体任务)、FLINK_TEMPLATE_SQL(流批一体任务)、PAI_DESIGNER。
      • 业务类型选择为逻辑表实例时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。
      • 业务类型选择为萃取实例时,细分类型包括标签节点、规则节点、萃取系统节点和标签逻辑表。
      注意 仅Data_distill项目支持查看萃取实例。Data_distill项目不支持查看逻辑表实例。
    • 运行状态:实例的运行状态,包括成功、失败、运行中、等待中和未运行。
    • 调度周期:实例的调度周期,包括分钟、小时、日、周、月和年。
    • 负责人:运维对象的负责人。
    • 优先级:实例运行的优先级。
    • 是否暂停:当前实例是否暂停调度。
    • 开始运行日期:快捷选择今天、昨天和近15天。您也可以选择具体的时间段。

    如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    DAG图 单击操作列下的test图标或单击实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
    • 单击tegtwe图标,隐藏周期实例列表,放大DAG图。
    • 单击geg图标,隐藏DAG图。
    • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。
    单节点运维 上图②区域,支持针对单节点进行运维管理。
    批量节点运维 上图③区域,支持批量选中多个节点(或快捷本页全选)进行运维管理。
  • 周期实例DAG图:DAG图默认展示Main节点和其上下游节点,清晰地为您展示逻辑表实例节点的上下游依赖关系,同时Dataphin支持对上下游节点进行运维和管理。tata
    编号 描述
    展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、运行日志、操作日志和节点代码(或物化代码)。
    说明 逻辑表实例节点支持查看物化代码。脚本实例和萃取实例支持查看节点代码。
    展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。
    • 脚本实例的展示及操作说明,详情请参见脚本实例
    • 逻辑表实例的展示及操作说明,详情请参见逻辑表实例
    • 萃取实例的展示及操作说明,详情请参见萃取实例

    针对跨项目的节点,系统仅支持展开父子节点和查看运行日志。您需要进入对应项目执行更多运维操作。

    快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
    快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。

    同时,展示当前DAG图中Main节点的节点ID和节点名称。