管理手动实例

手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理,包括查看运行日志、查看手动任务、查看节点代码等。

手动实例入口

  1. Dataphin首页的顶部菜单栏,选择研发 > 任务运维

  2. 在左侧导航栏中选择实例运维 > 手动实例

  3. 在顶部菜单栏选择生产或开发环境。

手动实例页面介绍

手动实例页面以列表方式,展示系统已生成的手动实例。手动实例支持的运维管理操作,包括查看手动实例的信息、单节点运维操作和批量运维操作。

image

区块

说明

搜索及筛选区

支持通过输入节点ID或节点名称来筛选手动实例,适用于知晓节点ID或节点名称时筛选出所需的手动实例。

  • 我的实例:调度负责人为自己的全部实例。

  • 失败实例:调度负责人为自己,且运行失败的实例。

  • 未完成实例:调度负责人为自己,且未完成的实例。

  • 提交日期:默认展示提交日期为今天的实例数据,您可以手动切换开始运行日期进行筛选实例。

  • 筛选:单击筛选,展开筛选区。如果需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。支持筛选项包括:

    • 实例类型:根据项目绑定的计算源类型不同,所支持的实例类型也不相同,具体以实例界面显示为准

      说明

      Data_distill项目支持选择脚本实例和萃取实例。对标签或行为规则任务执行萃取补数据操作时,系统会生成手动任务。手动任务运行后生成萃取手动实例。

    • 运行状态:实例的运行状态,包括成功失败运行中等待调度时间限流中等待调度资源未运行

    • 开始运行时间:实例最近一次手动运行(包括重跑)的开始运行时间。

    • 调度资源组:可根据实例指定的运行时使用的调度资源组进行筛选。

    • 运维负责人:运维对象的负责人。

    • 优先级:实例运行的优先级。支持最高中等最低5种实例的运行优先级进行筛选。

      说明

      若已开通基线功能,任务优先级仅支持中等、低、最低。

    • 项目:根据任务所在项目进行筛选,可选择多个当前登录用户拥有运维-访问目录权限的项目。

手动实例列表区

手动实例页面以列表形式为您展示系统已生成的手动实例。列表操作栏为您展示手动实例支持的运维管理操作。更多详情,请参见手动实例列表支持的操作

批量操作区

您可通过批量操作区域提供的重跑、终止、强制重跑功能,对手动实例进行批量处理,提高操作效率。操作详情,请参见手动实例批量操作

手动实例列表支持的操作

手动实例列表页面展示当前业务类型的实例对象、运行状态、业务日期、开始运行时间、结束运行时间、运行时长、优先级、 运维负责人、项目、调度资源组及支持的操作。

  • 实例对象:运行一次手动任务得到一个手动实例对象。包含脚本名称和脚本ID。

  • 运行状态:该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。状态说明,请参见手动实例运行状态说明

  • 运行时长:实例开始运行到结束运行时的总时长。

  • 优先级:实例所属的优先等级。

    说明

    若已开通基线功能,基线任务的优先级为所有基线任务中最高的优先级。

  • 项目:任务所属的项目,展示格式为项目英文名(项目中文名)

  • 调度资源组:任务指定的实例运行时使用的调度资源组名称。

    如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组; 如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组

    说明

    进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。

    租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。

手动实例列表支持的操作如下:

操作

描述

查看节点代码

进入代码详情页,查看手动实例的节点代码。

查看运行日志

进入运行日志页面,查看实例节点运行的日志。

重跑

重跑当前实例节点及其下游未运行的实例节点。重跑后,当前实例节点及下游实例节点数据更新。

说明

系统仅支持重跑运行状态为成功和失败的实例。

手动任务

查看当前手动实例对应的手动任务的任务代码。更多信息,请参见管理手动任务

查看节点脚本

查看管道任务的关联依赖图。

说明

仅数据集成模块提交的手动任务支持查看节点脚本。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务。编辑开发节点后,需要提交或发布后,生产节点的数据才会更新。

说明

仅适用于Dev-Prod开发模式。

编辑节点

编辑某个任务的节点。编辑节点后,需要提交或发布后,生产节点的数据才会更新。

说明

仅适用于Basic模式。

查看生产节点

查看Prod项目中生成当前实例节点的任务配置。

说明

仅适用于Dev-Prod开发模式。

终止

终止正在运行中或等待中的实例节点。当前实例节点终止运行后,该节点的下游节点也不会运行。

适用于如下场景,但不仅限于此:

  • 由于系统异常或操作失误,需要终止实例运行。

  • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

说明

系统仅支持终止运行状态为运行中和等待中的实例节点。

强制重跑

强制重跑当前实例节点。如果该节点运行成功,则下游实例节点随之也运行。

适用于如下场景,但不仅限于此:

  • 查看实例的运行日志,发现某些数据运行错误。

  • 上游节点未运行,但需要重跑该节点。

说明

系统支持强制重跑运行状态为成功、失败、运行中、等待中和未运行的实例节点。

修改调度资源组

可修改实例运行时使用的调度资源组。

说明
  • 选择多个项目下的任务时,目标调度资源组仅列举这些项目均被授权共有的调度资源组。建议先筛选单个项目后,再批量设置。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。

手动实例运行状态说明

状态

图标

说明

未运行

test

未开始运行的实例。

等待中

test

已触发运行的实例,但依赖的所有上游节点已经运行成功,等待到达调度时间或等待调度资源。

运行中

test

正在运行中的实例。

失败

test

运行失败的实例。

如果终止等待中或运行中状态的实例,则实例状态变更为失败。

成功

test

运行成功的实例。

空跑调度的实例系统会直接标记为运行成功。

手动实例详情页

image.png

区块

说明

运维操作入口

提供运维管理手动实例的入口,详情请参见手动实例详情页支持的操作

节点信息

展示手动实例的节点信息和运行信息。

实例代码

  • 计算任务生成的实例,支持查看实例。

  • 管道任务生成的实例,默认展示管道任务上下游组件。

实例对象列表

查看手动实例详情时,实例对象列表将展示实例对象的名称和业务日期。鼠标悬停至实例对象/业务日期,将展示当前对象的节点名、节点ID、业务日期。

手动实例详情页支持的操作

手动实例详情为您展示计算任务和管道任务运行生成的实例详情。同时,支持对当前实例进行运维管理。

操作

描述

查看生产节点

进入Prod项目中,查看当前任务配置。

编辑开发节点

进入Dev项目下当前任务编辑页面,编辑当前任务。仅适用于Dev-Prod开发模式。

编辑节点

进入计算任务和管道任务的编辑页面,编辑当前任务。仅适用于Basic模式。

查看节点代码

查看管道实例的节点代码。

说明

仅管道实例支持查看节点代码。

查看节点代码后,单击查看节点脚本,返回至可视化展示管道实例上下游组件页面。teat

查看手动任务

进入生成当前实例节点的任务代码详情页,查看任务节点详情和对任务节点进行运维管理等,详情请参见管理手动任务

查看运行日志

进入运行日志页面,查看当前实例的运行日志。

手动实例批量操作

操作

描述

重跑

同时重跑多个实例节点。当前实例节点及下游实例节点数据更新。

说明

选中的实例节点运行状态,仅支持均为成功失败状态的实例。

终止

同时终止多个实例节点的运行。当前实例节点终止运行后,该节点的下游节点也不会运行。

说明

选中的实例节点运行状态,仅支持均为运行中等待中的实例。

强制重跑

强制重跑时间不校验上游节点的运行状态。强制重跑当前脚本实例后,当前脚本实例的数据更新。

重要

如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。

修改调度资源组

可修改实例运行时使用的调度资源组。

说明
  • 选择多个项目下的任务时,目标调度资源组仅列举这些项目均被授权共有的调度资源组。建议先筛选单个项目后,再批量设置。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。