集成和计算任务实例是周期集成和计算任务按照定时调度时间运行生成的实例数据。后续您可以对集成和计算任务实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理集成和计算任务实例。
前提条件
已购买智能运维增值服务并且当前租户已开通智能运维模块后,方可查看甘特图。
集成和计算任务实例页面入口
在Dataphin首页的顶部菜单栏,选择研发 > 任务运维。
在左侧导航栏中选择实例运维 > 周期实例。
在顶部菜单栏选择生产或开发环境。
在周期实例页面,单击集成和计算任务页签。
集成和计算任务实例列表支持的操作
周期集成和计算任务生成集成和计算任务实例后,将在周期实例 > 集成和计算任务列表为您展示。列表中展示当前实例对象、实例ID、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、优先级、运维负责人、项目、相关基线实例、调度资源组及支持的操作。
实例对象:运行一个周期任务得到一个周期实例对象。展示实例对象的名称和ID,并标识任务的调度方式。可单击列名旁的
图标,根据对象名称进行升序或降序排序。更多信息,请参见周期实例运行状态说明。
运行状态:该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。各状态标识及详情,请参见周期实例运行状态说明。
开始运行时间:实例开始运行时的时间,单击列名旁的
图标,按照开始运行时间进行升序或降序排序。
说明逻辑表节点的开始运行时间,为实例对象最早开始运行的内部物化节点对应的时间。
结束运行时间:实例结束运行时的时间,单击列名旁的
图标,按照结束运行时间进行升序或降序排序。
说明逻辑表节点的结束运行时间,为实例对象最晚结束运行的内部物化节点对应的时间。
重试次数/自动重试次数:实例运行重试次数/自动重试次数,其中
重试次数=运行次数-1
。运行时长:实例开始运行到结束运行时的总时长,单击列名旁的
图标,按照运行时长进行升序或降序排序。
说明逻辑表节点的运行时长,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。
优先级:实例所属的优先等级。
说明若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。
项目:任务所属的项目,展示格式为
项目英文名(项目中文名)
。相关基线实例:作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。
说明若未开通基线功能,则不展示该字段信息。
调度资源组:任务指定的实例运行时使用的调度资源组名称。
如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组;如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组。
说明进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。
租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。
集成和计算任务实例列表支持的操作如下。
操作 | 描述 |
DAG图 | 单击 |
查看运行日志 | 单击 |
重跑 | 单击 如果业务场景需要执行重跑操作,您可以执行强制重跑。 |
查看甘特图 | 单击
甘特图详细说明请参见查看关键路径甘特图。 |
查看节点代码 | 单击 逻辑代码:编写的任务代码。 物理代码:编译后生成的可在Flink引擎上运行的代码。 |
周期任务 | 单击 |
编辑开发节点 | 单击 说明 仅Dev-Prod模式项目空间的集成和计算任务实例支持编辑开发节点。 |
查看生产节点 | 单击 说明 仅Dev-Prod模式项目空间的集成和计算任务实例支持查看开发节点。 |
编辑节点 | 单击 说明 仅Basic模式项目空间的集成和计算任务实例支持编辑节点。 |
重跑下游 | 单击 如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例。 重跑下游操作多用于如下场景:
|
置成功继续调度 | 单击 |
终止 | 单击 说明 仅成功、失败、未运行状态的实例不支持终止,其他状态的实例均支持进行终止操作。 终止操作多用于如下场景:
|
强制重跑 | 单击
重要 强制重跑不会校验上游是否全部运行成功以及是否到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。 |
去除上游戏依赖 | 单击 重要 需至少保留一个上游实例。 |
暂停 | 单击 说明
|
恢复 | 单击 |
修改调度资源组 | 单击 说明
|
修改优先级 | 单击 |
集成和计算任务实例DAG节点支持的操作
DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中集成和计算任务实例节点,您可以对实例进行相关的运维操作。
Dataphin支持跨项目实例节点的运维管理。对跨项目的实例集成和计算任务节点进行运维操作时,需要具备实例所在项目的查看及操作权限。
DAG图支持的操作
操作
描述
展开父节点
展开DAG图中Main节点不同层级的依赖节点。
展开子节点
查看任务
进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,详情请参见周期任务。
查看操作日志
查看该实例进行相关操作的日志信息。
DAG节点支持的操作
集成和计算任务实例DAG节点支持的操作与集成和计算任务实例列表支持的操作相同。更多信息,请参见集成和计算任务实例列表支持的操作。
集成和计算任务实例批量操作
周期集成和计算任务支持的批量操作说明如下:
操作 | 描述 |
重跑 |
|
终止 |
|
置成功继续调度 | 选中多个实例后,可批量将运行失败或未运行的集成和计算任务实例节点手动置运行成功,继续参与调度。 |
暂停 |
|
恢复 | 批量恢复暂停中的周期实例。 |
修改调度资源组 | 可修改实例运行时使用的调度资源组。 说明
|
修改优先级 | 批量修改所选中实例的优先级,可选择最高、高、中、低或最低。 |
下载所有 | 下载所有周期实例(包括集成和计算任务实例以及建模任务实例)数据至本地,下载文件为.xlsx格式,名称格式为 表格中包含实例对象、实例ID、运行状态、调度周期、业务日期、优先级、运维负责人、项目(汇总逻辑表存在多个项目,各项目间使用逗号(,)分隔)、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、相关基线实例(实例所涉及到的基线名称,多个名称间使用逗号(,)分隔)和调度资源组(建模任务实例下,此参数为空值)信息。 |
重跑下游
在重跑下游对话框中,配置参数。
说明下游运行状态为等待中或运行中的实例无法被重跑。如果需全链路重跑,建议您选择强制重跑下游实例。具体操作,请参见强制重跑下游实例。
参数
描述
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游重跑范围
选择重跑下游节点的范围,详细说明如下:
所有失败实例:不展示具体的下游列表,系统自动筛选所有运行状态为失败的下游实例进行重跑。
自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。
单击确定。
重跑下游后,下游实例节点数据更新。
强制重跑下游实例
在强制重跑下游对话框中,配置重跑参数。
参数
描述
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游强制重跑范围
选择强制重跑下游节点的范围,详细说明如下:
所有实例:一键选中起始节点的下游所有的实例节点。
自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。
单击确定,即可完成设置。