查看并管理脚本实例

更新时间: 2023-07-06 17:46:43

脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。

脚本实例页面入口

  1. 请参见运维中心入口,进入运维中心。

  2. 运维中心页面,单击左侧导航栏周期实例,并选择脚本页签,进入脚本实例页面。

    image

查看脚本实例列表

周期脚本任务生成脚本实例后,将在周期实例的脚本实例列表为您展示。脚本实例列表页面展示当前实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、负责人、相关基线实例、资源组及支持的操作。

image

字段

描述

实例对象

运行一个周期任务得到一个周期实例对象。包含脚本名称和脚本ID。并标识任务的调度方式。更多信息,请参见周期实例提示标记说明

运行状态

该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。各状态标识及详情,请参见周期实例运行状态说明

调度周期

实例所属的调度周期。

业务日期

实例生成时的业务时间。

定时运行时间

实例的定时运行时间。

开始运行时间

实例开始运行时的时间。

结束运行时间

实例运行结束时的时间。

运行时长

实例开始运行到结束运行时的总时长。

优先级

实例所属的优先等级。

说明

若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

负责人

实例的运维负责人。

相关基线实例

作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

资源组

实例所属的资源组名称。

脚本实例列表支持的操作

操作

描述

DAG图

单击image可查看该周期实例的DAG图。更多信息,请参见周期实例DAG图

查看运行日志

单击image可查看该周期实例运行日志信息。

image

重跑

单击image可重跑该周期实例。重跑操作仅支持重跑运行状态为成功失败的脚本实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行

如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

查看节点代码

单击可查看当前实例的节点代码。

image

周期任务

单击可查看当前实例所属的周期任务。

编辑开发节点

单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。

说明

仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

查看生产节点

单击可快捷的跳转到该实例的生产页面。

说明

仅Dev-Prod模式项目空间的脚本实例支持查看开发节点。

编辑节点

通过脚本实例列表区或DAG图进入Basic项目中,编辑生成脚本实例的脚本任务。

说明

仅Basic模式项目空间的脚本实例支持编辑节点。

重跑下游

将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败脚本实例的下游节点。下游运行状态为等待中(等待调度时间、等待调度资源)运行中的实例无法被重跑。具体操作,请参见重跑下游

如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

置成功继续调度

可将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。单击置成功继续调度,并在置成功继续调度提示对话框中单击确定,即可完成设置。

image

终止

运行中等待中(等待调度时间、等待调度资源)的脚本实例进行终止运行。终止后脚本实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止脚本实例。

  • 脚本实例显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

强制重跑支持强制重跑当前实例和强制重跑下游实例。

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前脚本实例后,当前脚本实例的数据更新。具体操作,请参见强制重跑当前实例

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

去除上游戏依赖

可去除所有运行状态的脚本实例的上游依赖。

image
重要

需至少保留一个上游实例。

暂停

可暂停非暂停状态的脚本实例。暂停当前脚本实例后,不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。

暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。

脚本实例DAG节点支持的操作

image

操作

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看任务

进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,详情请参见周期任务。

查看节点代码

查看生成当前实例的任务代码。在Flink_SQL脚本实例下您可单击逻辑代码或物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在flink引擎上运行的代码。

image

查看运行日志

查看实例节点的运行日志。

image

编辑开发节点

单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。

说明

仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

查看生产节点

单击可快捷的跳转到该实例的生产页面。

说明

仅Dev-Prod模式项目空间的脚本实例支持查看开发节点。

查看操作日志

查看该实例进行相关操作的日志信息。

image

重跑

重跑当前实例节点及其下游未运行的实例节点。重跑操作仅支持重跑运行状态为成功失败逻辑表实例,且字段的归一状态为成功和失败。重跑后,当前实例已重跑的字段及其下游实例节点数据更新。

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑操作,但业务场景需要执行重跑操作,您可以执行强制重跑。

重跑下游

将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败的逻辑表实例,且归一状态为成功失败字段的下游节点。具体操作,请参见重跑下游

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。具体操作,请参强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

终止

对运行中或等待中(等待调度时间、等待调度资源)的脚本实例进行终止运行。终止后脚本实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

由于Dataphin异常或操作失误,需要终止脚本实例。脚本实例显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

去除上游依赖

可去除所有运行状态的脚本实例的上游依赖。

image
说明

需至少保留一个上游实例。

置成功继续调度

可将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。单击置成功继续调度,并在置成功继续调度提示对话框中单击确定,即可完成设置。

image

强制重跑

强制重跑支持强制重跑当前实例和强制重跑下游实例。

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前脚本实例后,当前脚本实例的数据更新。具体操作,请参见强制重跑当前实例

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

暂停

可暂停非暂停状态的脚本实例。暂停当前脚本实例后,不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。

暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。

脚本实例批量操作

周期脚本支持的批量操作说明如下:

操作

描述

重跑

勾选实例后可批量重跑已勾选实例节点及其下游未运行的实例节点。

终止

勾选实例后可批量下线生产环境中的周期脚本实例。系统支持下线已停止、运行失败或恢复失败的周期脚本实例。

置成功继续调度

勾选实例后可批量将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。

暂停

暂停正在运行中的周期实例。

恢复

恢复正在暂停中的周期实例。

重跑下游

  1. 重跑下游对话框中,配置参数。

    说明

    下游运行状态为等待中运行中的实例无法被重跑。如果需全链路重跑,建议您选择强制重跑下游实例。具体操作,请参见强制重跑下游实例

    image

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

      空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      正常运行:正常调度。

    下游重跑范围

    选择重跑下游节点的范围,详细说明如下:

      所有失败实例:不展示具体的下游列表,系统自动筛选所有运行状态为失败的下游实例进行重跑。

      自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定

  3. 重跑下游后,下游实例节点数据更新。

强制重跑当前实例

强制重跑当前实例提示对话框中单击确定,即可完成设置。

image

强制重跑下游实例

  1. 强制重跑下游对话框中,配置重跑参数。

    image

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

    • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

    • 正常运行:正常调度。

    下游强制重跑范围

    选择强制重跑下游节点的范围,详细说明如下:

    • 所有实例:一键选中起始节点的下游所有的实例节点。

    • 自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定,即可完成设置。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈