文档

查看并管理脚本实例

更新时间:

脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。

脚本实例页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入脚本实例页面。

    单击运维->选择项目(Dev-Prod模式需要选择环境)->单击周期实例->单击脚本

    image.png

查看脚本实例列表

周期脚本任务生成脚本实例后,将在周期实例的脚本实例列表为您展示。脚本实例列表页面展示当前实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。

image.png

字段

描述

实例对象

运行一个周期任务得到一个周期实例对象。包含脚本名称和脚本ID。并标识任务的调度方式。更多信息,请参见周期实例运行状态说明

说明

单击实例对象排序image.png图标,支持根据对象名称进行升序或倒序排序。

运行状态

该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。各状态标识及详情,请参见周期实例运行状态说明

调度周期

实例所属的调度周期。

业务日期

实例生成时的业务时间。

定时运行时间

实例的定时运行时间。

说明

单击定时运行时间的image.png图标,支持按照定时运行时间进行升序或降序排序。

开始运行时间

实例开始运行时的时间。

说明
  • 单击开始运行时间的image.png图标,支持按照开始运行时间进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最早开始运行的内部物化节点对应的时间。

结束运行时间

实例运行结束时的时间。

说明
  • 单击结束运行时间的image.png图标,支持按照结束运行时间进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最晚结束运行的内部物化节点对应的时间。

运行时长

实例开始运行到结束运行时的总时长。

说明
  • 单击运行时长的image.png图标,支持按照运行时长进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。

优先级

实例所属的优先等级。

说明

若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

运维负责人

实例的运维负责人。

相关基线实例

作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

调度资源组

任务指定的实例运行时使用的调度资源组名称。

如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组; 如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组

说明

进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。

租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。

脚本实例列表支持的操作

操作

描述

DAG图

单击image可查看该周期实例的DAG图。更多信息,请参见周期实例DAG图

查看运行日志

单击image可查看该周期实例运行日志信息。不同类型的周期实例运行日志信息不同,具体以实际运行日志信息为准。

下图为Flink_SQL批处理实例的运行日志。

image.png

重跑

单击image可重跑该周期实例。重跑操作仅支持重跑运行状态为成功失败的脚本实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行

如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

查看节点代码

单击可查看当前实例的节点代码。在Flink_SQL脚本实例下您可单击逻辑代码或物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在Flink引擎上运行的代码。

周期任务

单击可查看当前实例所属的周期任务。

编辑开发节点

单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。

说明

仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

查看生产节点

单击可快捷的跳转到该实例的生产页面。

说明

仅Dev-Prod模式项目空间的脚本实例支持查看开发节点。

编辑节点

通过脚本实例列表区或DAG图进入Basic项目中,编辑生成脚本实例的脚本任务。

说明

仅Basic模式项目空间的脚本实例支持编辑节点。

重跑下游

将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败脚本实例的下游节点。下游运行状态为等待中(等待调度时间、等待调度资源)运行中的实例无法被重跑。具体操作,请参见重跑下游

如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

置成功继续调度

可将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。单击置成功继续调度,并在置成功继续调度提示对话框中单击确定,即可完成设置。

image

终止

成功失败未运行的实例不支持终止,其他状态实例均支持进行终止操作。终止后实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止脚本实例。

  • 脚本实例显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

强制重跑支持强制重跑当前实例和强制重跑下游实例。

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前脚本实例后,当前脚本实例的数据更新。具体操作,请参见强制重跑当前实例

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

去除上游戏依赖

可去除所有运行状态的脚本实例的上游依赖。

image

重要

需至少保留一个上游实例。

暂停

未运行等待调度时间限流中的实例支持暂停。暂停当前脚本实例后,不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。

说明

暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。

修改调度资源组

可修改实例运行时使用的调度资源组。

说明
  • 仅生产环境项目下的实例可修改调度资源组。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。

脚本实例DAG节点支持的操作

DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中脚本实例节点,您可以对实例进行相关的运维操作。

Dataphin支持跨项目实例节点的运维管理。对跨项目的实例脚本节点进行运维操作时,需要具备实例所在项目的查看及操作权限。

image.png

  • DAG图支持的操作

    操作

    描述

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

    查看任务

    进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,详情请参见周期任务。

    查看操作日志

    查看该实例进行相关操作的日志信息。

    image

    DAG节点支持的操作

    脚本实例DAG节点支持的操作与脚本实例列表支持的操作相同。更多信息,请参见脚本实例列表支持的操作

脚本实例批量操作

周期脚本支持的批量操作说明如下:

操作

描述

重跑

  • 成功失败状态的实例支持重跑。

  • 如果选中的实例中没有成功失败状态的实例,则不支持批量重跑操作;选中的实例存在成功失败状态和其他状态的实例时,系统仅执行状态为成功失败状态的实例。

终止

  • 成功失败未运行状态的实例不支持终止,其他状态实例均支持进行终止操作。

  • 如果选中的实例中只存在成功失败未运行状态的实例,则不支持批量终止操作;选中的实例存在成功失败未运行状态和其他状态的实例时,系统不执行状态为成功失败未运行状态的实例。

置成功继续调度

勾选实例后可批量将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。

暂停

  • 未运行等待调度时间限流中状态的实例支持暂停。

  • 如果选中的实例中没有未运行等待调度时间限流中状态的实例,则不支持批量暂停操作;选中的实例存在未运行等待调度时间限流中状态和其他状态的实例时,系统仅执行状态为未运行等待调度时间限流中状态的实例。

恢复

批量恢复暂停中的周期实例。

修改调度资源组

可修改实例运行时使用的调度资源组。

说明
  • 仅生产环境项目下的实例可修改调度资源组。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。

重跑下游

  1. 重跑下游对话框中,配置参数。

    说明

    下游运行状态为等待中运行中的实例无法被重跑。如果需全链路重跑,建议您选择强制重跑下游实例。具体操作,请参见强制重跑下游实例

    image

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

    • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

    • 正常运行:正常调度。

    下游重跑范围

    选择重跑下游节点的范围,详细说明如下:

    • 所有失败实例:不展示具体的下游列表,系统自动筛选所有运行状态为失败的下游实例进行重跑。

    • 自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定

  3. 重跑下游后,下游实例节点数据更新。

强制重跑当前实例

强制重跑当前实例提示对话框中单击确定,即可完成设置。

image

强制重跑下游实例

  1. 强制重跑下游对话框中,配置重跑参数。

    image

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

    • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

    • 正常运行:正常调度。

    下游强制重跑范围

    选择强制重跑下游节点的范围,详细说明如下:

    • 所有实例:一键选中起始节点的下游所有的实例节点。

    • 自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定,即可完成设置。