查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。
脚本实例页面入口
在Dataphin首页,单击顶部菜单栏的研发 > 任务运维。
在顶部菜单栏选择项目(Dev-Prod模式需要选择环境),在左侧导航栏选择实例运维 > 周期实例。
在周期实例页面,单击脚本页签。
查看脚本实例列表
周期脚本任务生成脚本实例后,将在周期实例的脚本实例列表为您展示。脚本实例列表页面展示当前实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例及支持的操作。
字段 | 说明 |
实例对象 | 运行一个周期任务得到一个周期实例对象。包含脚本名称和脚本ID。并标识任务的调度方式。更多信息,请参见周期实例提示标记说明。 说明 单击实例对象排序图标,支持根据对象名称进行升序或倒序排序。 |
运行状态 | 该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。各状态标识及详情,请参见周期实例运行状态说明。 |
调度周期 | 实例所属的调度周期。 |
业务日期 | 实例生成时的业务时间。 |
定时运行时间 | 实例的定时运行时间。 说明 单击定时运行时间的图标,支持按照定时运行时间进行升序或降序排序。 |
开始运行时间 | 实例开始运行时的时间。 说明
|
结束运行时间 | 实例运行结束时的时间。 说明
|
运行时长 | 实例开始运行到结束运行时的总时长。 说明
|
优先级 | 实例所属的优先等级。 说明 若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。 |
运维负责人 | 实例的运维负责人。 |
相关基线实例 | 作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。 说明 若未开通基线功能,无该字段信息。 |
脚本实例列表支持的操作
操作 | 说明 |
DAG图 | 单击可查看该周期实例的DAG图。更多信息,请参见周期实例DAG图。 |
查看运行日志 | 单击可查看该周期实例运行日志信息。不同类型的周期实例运行日志信息不同,具体以实际运行日志信息为准。 下图为Flink_SQL批处理实例的运行日志。 |
重跑 | 单击可重跑该周期实例。重跑操作仅支持重跑运行状态为成功或失败的脚本实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行。 如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例。 |
查看节点代码 | 单击可查看当前实例的节点代码。在Flink_SQL脚本实例下您可单击逻辑代码或物理代码进行切换查看。 逻辑代码:编写的任务代码。 物理代码:编译后生成的可在Flink引擎上运行的代码。 |
周期任务 | 单击可查看当前实例所属的周期任务。 |
编辑开发节点 | 单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。 说明 仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。 |
查看生产节点 | 单击可快捷的跳转到该实例的生产页面。 说明 仅Dev-Prod模式项目空间的脚本实例支持查看开发节点。 |
编辑节点 | 通过脚本实例列表区或DAG图进入Basic项目中,编辑生成脚本实例的脚本任务。 说明 仅Basic模式项目空间的脚本实例支持编辑节点。 |
重跑下游 | 将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功或失败脚本实例的下游节点。下游运行状态为等待中(等待调度时间、等待调度资源)或运行中的实例无法被重跑。具体操作,请参见重跑下游。 如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例。 重跑下游操作多用于如下场景:
|
置成功继续调度 | 可将运行失败或未运行的脚本实例节点手动置运行成功,继续参与调度。单击置成功继续调度,并在置成功继续调度提示对话框中单击确定,即可完成设置。 |
终止 | 仅成功、失败、未运行的实例不支持终止,其他状态实例均支持进行终止操作。终止后实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。 终止操作多用于如下场景:
|
强制重跑 | 强制重跑支持强制重跑当前实例和强制重跑下游实例。
重要 强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。 |
去除上游戏依赖 | 可去除所有运行状态的脚本实例的上游依赖。 重要 需至少保留一个上游实例。 |
暂停 | 仅未运行、等待调度时间、限流中的实例支持暂停。暂停当前脚本实例后,不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。 说明 暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。 |
恢复 | 可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。 |
脚本实例DAG节点支持的操作
DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中脚本实例节点,您可以对实例进行相关的运维操作。
Dataphin支持跨项目实例节点的运维管理。对跨项目的实例脚本节点进行运维操作时,需要具备实例所在项目的查看及操作权限。
DAG图支持的操作
操作
说明
展开父节点
展开DAG图中Main节点不同层级的依赖节点。
展开子节点
查看任务
进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,详情请参见周期任务。
查看操作日志
查看该实例进行相关操作的日志信息。
DAG节点支持的操作
脚本实例DAG节点支持的操作与脚本实例列表支持的操作相同。更多信息,请参见脚本实例列表支持的操作。
脚本实例批量操作
周期脚本支持的批量操作说明如下:
操作 | 说明 |
重跑 |
|
终止 |
|
置成功继续调度 | 选中实例后可批量将运行失败或未运行的脚本实例节点手动置运行成功,继续参与调度。 |
暂停 |
|
恢复 | 批量恢复暂停中的周期实例。 |
重跑下游
在重跑下游对话框中,配置参数。
说明下游运行状态为等待中或运行中的实例无法被重跑。如果需全链路重跑,建议您选择强制重跑下游实例。具体操作,请参见强制重跑下游实例。
参数
说明
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游重跑范围
选择重跑下游节点的范围,详细说明如下:
所有失败实例:不展示具体的下游列表,系统自动筛选所有运行状态为失败的下游实例进行重跑。
自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。
单击确定。
重跑下游后,下游实例节点数据更新。
强制重跑当前实例
在强制重跑当前实例提示对话框中单击确定,即可完成设置。
强制重跑下游实例
在强制重跑下游对话框中,配置重跑参数。
参数
说明
起点运行方式
定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:
空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
正常运行:正常调度。
下游强制重跑范围
选择强制重跑下游节点的范围,详细说明如下:
所有实例:一键选中起始节点的下游所有的实例节点。
自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。
单击确定,即可完成设置。