周期建模任务实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,您可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍如何查看并管理建模任务实例。
背景信息
周期建模任务实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。
使用说明
规范建模采用动态物化逻辑,因此您可基于以下2个运维视角进行运维管理:
在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。
在逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。
周期建模任务实例页面入口
在Dataphin首页的顶部菜单栏,选择研发 > 任务运维。
在左侧导航栏中选择实例运维 > 周期实例。
在顶部菜单栏中选择生产或开发环境。
在周期实例页面,单击建模任务页签。
建模任务实例列表支持的操作
周期建模任务生成建模任务实例后,将在周期实例 > 建模任务列表为您展示。建模任务实例列表页面为您展示当前实例对象的名称、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、项目、相关基线实例以及支持的操作。
实例对象:运行一个周期任务得到一个周期实例对象。包含表名称和表ID。并标识任务的调度方式。可单击列名旁的
图标,根据对象名称进行升序或降序排序。更多信息,请参见周期实例提示标记说明。
运行状态:建模运行状态包括字段运行状态和节点运行状态。可单击字段后的
图标查看每种运行状态对应的运行状态详情。
字段运行状态包括逻辑表内所有字段的运行状态。例如
图标,表示该逻辑表的字段有运行成功和未运行的两种状态。字段运行状态图标后字段对应的数量为当前逻辑表节点的字段数量;节点对应的数量为当前逻辑表节点的物化节点数量。同时您也可以单击
图标,查看每个字段的归一运行状态。运行状态提示说明,请参见周期实例运行状态说明。
字段的运行状态由其归属的所有物化节点的运行状态决定,最终展示字段的归一运行状态。具体规则说明如下:
字段归属的所有物化节点中只要有一个物化节点的运行状态为成功,则字段归一状态即为成功。
字段归属的所有物化节点中只有所有物化节点的运行状态为失败,字段归一状态才为失败。
字段归属的所有物化节点中只要有一个物化节点的运行状态为运行中,则字段归一状态为运行中。
字段归属的所有物化节点中有部分物化节点的运行状态为等待中,部分物化节点的运行状态为未运行或失败,则字段的归一状态为等待中。
字段归属的所有物化节点的运行状态为未运行,则字段的归一状态为未运行。
开始运行时间:实例开始运行时的时间,单击列名旁的
图标,按照开始运行时间进行升序或降序排序。
说明逻辑表节点的开始运行时间,为实例对象最早开始运行的内部物化节点对应的时间。
结束运行时间:实例结束运行时的时间,单击列名旁的
图标,按照结束运行时间进行升序或降序排序。
说明逻辑表节点的结束运行时间,为实例对象最晚结束运行的内部物化节点对应的时间。
运行时长:实例开始运行到结束运行时的总时长,单击列名旁的
图标,按照运行时长进行升序或降序排序。
说明逻辑表节点的运行时长,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。
优先级:实例所属的优先等级。
说明若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。
项目:任务所属的项目,展示格式为
项目英文名(项目中文名)
。相关基线实例:展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。
说明若未开通基线功能,则不展示该字段信息。
建模任务实例列表支持的操作如下:
操作 | 描述 |
DAG图 | 单击 |
查看运行日志 | 单击 |
重跑 | 单击 如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例。 |
查看甘特图 | 说明 已购买智能运维增值服务后,方可查看甘特图。 单击
甘特图详细说明请参见查看关键路径甘特图。 |
字段及批量操作 | 单击 |
查看生产链路 | 单击 |
查看消费链路 | 单击 |
查看物化代码 | 单击 |
周期任务 | 单击 |
编辑开发节点 | 单击 说明 仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。 |
查看生产节点 | 单击 说明 仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。 |
编辑节点 | 单击 说明 仅Basic模式项目空间的脚本实例支持编辑开发节点。 |
重跑下游 | 单击 如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例。 重跑下游操作多用于如下场景:
|
置成功继续调度 | 单击 |
终止 | 单击 说明 仅节点状态为成功、失败、未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。 终止操作多用于如下场景:
|
强制重跑 | 单击
重要 强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。 |
去除上游依赖 | 单击 重要 需至少保留一个上游实例。 |
暂停 | 单击 说明 暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。 |
恢复 | 单击 |
修改优先级 | 单击 说明 汇总逻辑表存在多个优先级。 |
建模任务实例DAG节点支持的操作
DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中建模任务实例节点,您可以对实例进行相关的运维操作。
Dataphin支持跨项目实例节点的运维管理。对跨项目的建模任务实例节点进行运维操作时,需要具备实例所在项目的查看及操作权限。汇总表实例仅支持对有权限的指标操作。
DAG图支持的操作
操作
描述
展开父节点
展开DAG图中Main节点不同层级的依赖节点。
展开子节点
查看任务
进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。更多信息,请参见管理建模任务。
展开物化节点
展开该逻辑表对应的内部物化节点。
鼠标悬停至物化节点显示框内,右键单击或单击图标后,可以查看该物化节点的节点代码、物化节点字段和运行日志。
查看操作日志
查看该实例进行相关操作的日志信息。
DAG节点支持的操作
建模任务实例DAG节点支持的操作与建模任务实例列表支持的操作相同。更多信息,请参见建模任务实例列表支持的操作。
建模任务实例支持的批量操作
操作 | 描述 |
重跑所有失败实例 | 选中多个建模任务实例后,在列表底部选择重跑所有失败实例、重跑所有终态实例或强制重跑所有实例。
|
终止 | 仅节点状态为成功、失败、未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。如果仅选中节点状态为成功、失败、未运行的实例,则不支持批量终止操作。 |
置成功继续调度 | 可批量将运行失败或未运行的实例节点手动置运行成功,继续参与调度。 |
暂停 | 仅未运行、等待调度时间、限流中的实例支持暂停。如果未选中未运行、等待调度时间、限流中的实例,则不支持批量暂停操作。 |
恢复 | 恢复正在暂停中的周期实例。 |
修改优先级 | 批量修改所选中实例的优先级,可选择最高、高、中、低或最低。 说明 汇总逻辑表存在多个优先级。 |
下载所有 | 下载所有周期实例(包括集成和计算任务实例以及建模任务实例)数据至本地,下载文件为.xlsx格式,名称格式为 表格中包含实例对象、实例ID、运行状态、调度周期、业务日期、优先级、运维负责人、项目(汇总逻辑表存在多个项目,各项目间使用逗号(,)分隔)、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、相关基线实例(实例所涉及到的基线名称,多个名称间使用逗号(,)分隔)和调度资源组(建模任务实例下,此参数为空值)信息。 |
重跑下游
在重跑下游对话框中,配置参数。
基本信息
您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。
其中优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。
说明为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带重跑。
参数
描述
起始节点
选择重跑下游的起始节点。支持选择全表和指定字段,详细说明如下:
全表:逻辑表实例中的所有字段执行重跑下游实例操作。
指定字段:您可以根据业务需求指定需要重跑下游节点的字段。
您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游配置
下游重跑范围
描述
所有失败实例
仅选中依赖当前实例且运行失败的字段及其连带字段进行重跑。
自定义配置
如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。
您可以通过运行失败、下游节点层级及优先展示必选字段筛选下游实例节点。您也可输入节点名称和节点ID快速筛选下游节点。
单击提交。
重跑下游后,下游实例节点数据更新。
强制重跑当前实例
在强制重跑当前实例-逻辑表对话框中,配置重跑参数。
强制重跑范围
描述
全表
强制重跑该逻辑表中的所有字段。
指定字段
您可以根据业务需求指定需要重跑的字段,当前逻辑表实例中的所有归一运行状态的字段均支持强制重跑。
您可以通过字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。
单击确定后,会为您展示连带必选字段对话框,需要您确认并单击确定。
为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。
强制重跑下游实例
在强制重跑下游实例-逻辑表对话框中,选择配置方式及配置对应的参数。
强制重跑下游实例支持快捷配置及自定义配置,详细说明如下:
快捷配置
a. 选择起始节点为全表及起点的运行方式。
参数
描述
起始节点
快捷配置起始节点默认选择为全表,即逻辑表实例中的所有字段为起始节点。
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
b. 选择下游强制重跑的范围。
快捷配置的下游强制重跑范围默认选择依赖当前逻辑表实例的所有下游实例。
自定义配置
基本信息
参数
描述
起始节点
选择重跑下游的起始节点。Dataphin支持选择全表和指定字段,详细说明如下:
全表:逻辑表实例中的所有字段执行强制重跑下游实例操作。
指定字段:您可以根据业务需求指定需要强制重跑下游节点的字段。
您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。
起点运行方式
定义起始节点的运行方式。Dataphin支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游配置
参数
描述
下游强制重跑范围
选择下游强制重跑范围,包括所有实例和自定义配置,详细说明如下:
所有实例:已选字段的所有下游实例节点。
自定义配置:如果您需要自定义指定强制重跑下游的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。
字段列表
您可以通过优先展示必选字段,进行筛选字段。您也可以输入字段名称快速筛选字段。
优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入强制重跑范围的字段。
单击提交后,会为您展示连带必选字段弹框,需要您确认并单击确定。
为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。
逻辑表字段及批量操作
逻辑表字段及批量操作列表页面展示当前逻辑表所包含的字段,字段信息包括字段名称、运行状态、字段类型、开始运行时间、结束运行时间、运行时长及支持的操作。
操作 | 描述 |
查看生产链路 | 查看建模任务实例中字段的物化链路及物化节点的字段组。 ①展示当前建模任务实例节点的字段及字段的运行状态。您可以单击选择不同的字段,页面右侧展示已选字段的生产链路信息。 ②展示当前选中字段的物化链路。 ③展示物化节点的所有字段。 ④展示当前建模节点的物化节点。如果逻辑表节点有多个物化节点,则单击物化节点信息展示区域④,切换查看不同的物化节点信息。 |
查看运行日志 | 查看当前实例运行的日志。 |
查看物化代码 | 查看建模任务实例所有物化节点的物化代码。 在查看物化代码页面,您可以在区域①切换建模所有的物化节点,查看对应物化节点的物化代码。同时,您也可以将鼠标悬停至区域②的 |
查看消费链路 | 查看建模任务实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。 ①展示当前建模任务实例节点的字段。您可以选择不同的字段,页面右侧展示已选字段的消费链路信息。 ②展示选中字段下游节点,便于您在运维管理该字段时,分析对下游节点的影响。 |
重跑 | Dataphin仅支持重跑运行状态为成功和失败逻辑表实例,且字段的归一状态为成功和失败。重跑后,当前实例已重跑的字段及其下游实例节点数据更新。 如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑操作,但业务场景需要执行重跑操作,您可以执行强制重跑,具体操作,请参见强制重跑当前实例。 |
重跑下游 | Dataphin仅支持重跑运行状态为成功和失败的建模任务实例,且归一状态为成功和失败字段的下游节点。 如果由于建模任务实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。请参见强制重跑当前实例。 重跑下游操作多用于如下场景:
|
终止 | 仅节点状态为成功、失败、未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。终止后实例的节点状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。 终止操作多用于如下场景:
|
强制重跑 | 强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。具体操作,请参见强制重跑当前实例。 强制重跑下游实例的详细说明如下: |
暂停 | 即将字段的当前调度周期置为暂停调度的状态。暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。 |
置成功继续调度 | 将运行失败或未运行状态的字段手动置运行成功,继续参与调度。具体操作,请参见置成功继续调度。 |
恢复 | Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,系统会主动检查当前节点是否已经满足运行条件:
如果已经满足上述运行条件,则自动开始运行;如果不满足条件,仅取消字段的冻结状态,后续满足运行条件后,字段即可开始运行。 |
置成功继续调度
在置成功继续调度-逻辑表对话框中选择所需的操作范围。
失败字段:所有归一化运行状态为失败的字段将直接被置为成功。
未运行字段:所有归一化运行状态为未运行的字段将直接被置为成功。
失败未运行字段:所有归一化运行状态为失败、未运行的字段将直接被置为成功。
自定义配置:可在字段列表选中逻辑表实例中归一化运行状态为失败和未运行的字段进行置成功。
单击确定,即可完成设置。