周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,您可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍脚本实例、逻辑表实例和萃取实例的通用功能。
实例状态说明
状态 | 图标 | 说明 |
---|---|---|
未运行 | ![]() |
未开始运行的实例。 |
等待中 | ![]() |
依赖的所有上游节点已经运行成功,等待到达调度时间或等待调度资源。 |
运行中 | ![]() |
正在运行中的实例。 |
失败 | ![]() |
运行失败的实例。
如果终止等待中或运行中状态的实例,则实例状态变更为失败。 |
成功 | ![]() |
运行成功的实例。
空跑调度的实例系统会直接标记为运行成功。 |
说明 暂停实例即暂停当前周期实例的运行,不影响该任务其他周期生成的实例运行。暂停实例适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。
如果您需要暂停多个周期实例的运行,可以将该任务的调度属性修改为暂停调度,详情请参见通用功能说明。
核心概念
核心概念 | 释义 |
---|---|
重跑 | 仅对当前节点操作,仅运行成功和运行失败的节点可以重跑,适用于只需要对单个节点进行操作的场景,例如:
|
重跑下游 | 对当前和下游运行成功或运行失败的节点进行操作,适用于需要进行全链路数据刷新或恢复的场景,例如:
|
强制重跑 | 所有运行状态的节点均可操作,适用于当前节点不满足运行条件(上游全部运行成功、到达当前实例的定时调度时间),或系统问题导致满足运行条件仍未正常起调(低频)的场景,例如:
|
暂停实例 | 只暂停当前实例,不影响这个任务对应的其他实例。
注意 如果需要暂停的任务已下发到计算引擎,则无法暂停运行。
|
终止 | 终止实例的运行,适用于任务代码有问题或任务不需要继续运行的场景,以预防数据污染。 |
置成功继续调度 | 将运行失败的实例手动置为成功的状态。适用于运行出错影响下游任务起调,但是这个实例可能对下游数据的影响在可接受范围内,先置为成功调过保证下游任务能顺利起调;或有告警的场景下,不希望继续接收到告警,先置为成功。 |
恢复 | 恢复已暂停的实例,恢复后实例就可以参与正常的调度。 |
周期实例运行说明
Dataphin每晚23点生成次日需要运行的周期实例,生成的实例默认是未运行状态。周期实例能开始运行,必须满足以下两个条件:- 依赖的上游实例全部运行成功。满足此条件后,周期实例的状态从未运行变成等待中。
- 到达当前实例的定时运行时间,且Dataphin已分配调度资源。满足此条件后,周期实例的状态从等待中变成了运行中。
页面介绍
请参见入口介绍,进入周期实例页面。周期实例运维列表页面包括脚本实例、逻辑表实例和萃取实例。周期实例页面默认为您展示业务日期为昨天的实例。
周期实例页面以列表和DAG图的方式,为您展示系统已生成的周期实例。列表为您展示周期实例支持的运维管理操作,包括快速查看脚本实例、逻辑表实例和萃取实例的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
- 周期实例列表
周期实例列表页面展示当前业务类型的实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、 负责人、 资源组及支持的操作。
操作 描述 筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的实例。 筛选项包括:- 我的失败实例:调度负责人为您自己,且运行失败的实例。
- 我的未完成实例:调度负责人为您自己,且未运行的实例。
- 业务日期:默认展示业务日期为昨天的实例数据,您可以手动切换业务日期。
- 业务类型:支持选择脚本实例、萃取实例和逻辑表实例。
- 细分类型:
- 业务类型选择为脚本实例时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR、SHELL、PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL(流批一体任务)、FLINK_TEMPLATE_SQL(流批一体任务)、PAI_DESIGNER。
- 业务类型选择为逻辑表实例时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。
- 业务类型选择为萃取实例时,细分类型包括标签节点、规则节点、萃取系统节点和标签逻辑表。
注意 仅Data_distill项目支持查看萃取实例。Data_distill项目不支持查看逻辑表实例。 - 运行状态:实例的运行状态,包括成功、失败、运行中、等待中和未运行。
- 调度周期:实例的调度周期,包括分钟、小时、日、周、月和年。
- 负责人:运维对象的负责人。
- 优先级:实例运行的优先级。
- 是否暂停:当前实例是否暂停调度。
- 开始运行日期:快捷选择今天、昨天和近15天。您也可以选择具体的时间段。
如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。
DAG图 单击操作列下的 图标或单击实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
- 单击
图标,隐藏周期实例列表,放大DAG图。
- 单击
图标,隐藏DAG图。
- 鼠标悬停至
图标拖动,以扩大或缩小DAG图的页面范围。
单节点运维 上图②区域,支持针对单节点进行运维管理。 批量节点运维 上图③区域,支持批量选中多个节点(或快捷本页全选)进行运维管理。 - 周期实例DAG图:DAG图默认展示Main节点和其上下游节点,清晰地为您展示逻辑表实例节点的上下游依赖关系,同时Dataphin支持对上下游节点进行运维和管理。
编号 描述 ① 展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、运行日志、操作日志和节点代码(或物化代码)。 说明 逻辑表实例节点支持查看物化代码。脚本实例和萃取实例支持查看节点代码。② 展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。 针对跨项目的节点,系统仅支持展开父子节点和查看运行日志。您需要进入对应项目执行更多运维操作。
③ 快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。 ④ 快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。 同时,展示当前DAG图中Main节点的节点ID和节点名称。