查看并管理已提交实例

已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。

已提交实例入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入已提交实例页面。

    单击运维->选择项目(Dev-Prod模式需要选择环境)->单击补数据实例

    image.png

已提交实例页面介绍

已提交实例页面主要由搜索及筛选区、筛选区、已提交实例列表、批量操作区组成。您可以在已提交实例页面对生成的补数据实例进行相关的运维操作。

image.png

区域

描述

筛选及搜索区

主要针对当前账号的已提交实例进行筛选。

筛选支持通过输入实例对象名称或ID来筛选已提交实例,适用于知晓实例对象ID或名称时进行筛选出所需的已提交实例。

筛选选项包括:

  • 我提交的选中后筛选出提交人为当前操作账号对应的已提交实例。

  • 补数失败选中后筛选出提交人为当前操作账号对应的补数据状态为失败的已提交实例。

  • 补数未完成:选中后筛选出提交人为当前操作账号对应的补数据状态为运行中或未完成的已提交实例。

筛选区

单击筛选image按钮即可展开筛选区,筛选区选项包括:

  • 实例运行状态:可以根据已提交实例的运行状态进行筛选,筛选符合对应状态的实例。支持7种实例的运行状态筛选,包括成功、失败、运行中、未运行、等待调度资源、等待调度时间、限流中七种实例的运行状态。

  • 补数据状态:可以根据已提交实例的补数据状态进行筛选。补数据状态包括成功失败未运行运行中。更多信息,请参见补数据实例状态说明

  • 实例负责人:可以根据已提交实例的负责人进行筛选。

  • 补数据提交人:可以根据已提交实例的提交人进行筛选。

  • 业务日期:默认为全部的已提交实例,支持选择今天昨天一定日期范围内的已提交实例。

  • 开始运行时间:默认为当天开始运行的已提交实例,支持选择今天昨天某一天的开始运行的已提交实例。

  • 提交日期:提交日期支持筛选今天昨天全部,或某一天提交的已提交实例。

如果您需要重新筛选,则单击重置image,即可快速清空所有筛选条件,恢复系统默认。

已提交实例列表

已提交实例页面以列表形式为您展示周期任务生成的已提交实例,包括补数据名称-业务日期补数据状态补数据任务补数据提交人业务日期提交时间运行时长节点数及支持的操作。更多信息,请参见查看已提交实例列表

批量操作区

您可通过批量操作区域提供的批量操作功能,批量对补数据实例进行批量处理,提高操作效率。具体说明,请参见已提交实例支持的批量操作

补数据实例状态说明

系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据实例的运行状态,根据所有业务日期的归一状态判断,判断逻辑如下表。

补数据实例存在暂停的实例时,补数据状态除展示归一状态外,也将展示当前补数据下是否存在暂停的实例,存在部分暂停的实例则展示为部分暂停,所有实例均为暂停则展示为全部暂停

判断顺序

归一状态

判断逻辑

1

未运行

初始化或所有实例状态均为未运行,则补数据实例的状态为未运行。

2

运行中

存在等待中或运行中的实例且没有运行失败的实例,则补数据实例的状态为运行中。

3

失败

存在失败的实例,则补数据实例的状态即为失败。

4

成功

所有实例状态均为成功,则补数据实例的状态即为成功。

查看已提交实例列表

补数据实例运维列表页面展示当前补数据名称-业务日期补数据状态补数据任务提交人/时间业务日期运行时长节点数及支持的操作。

  • 已提交实例的单个已提交实例包括三层,如下图所示。

    image.png

    区域

    描述

    第一层

    补数据任务层:即补数据任务,名称为执行补数据操作时配置的实例名称。每提交一次补数据操作生成对应一个补数据任务层。

    第二层

    业务日期层:展示补数据实例下所有需要补数据的业务日期,每个业务日期对应一个文件夹。

    第三层

    补数据实例层:展示对任务执行补数据操作后生成的实例,同时您也可以查看该实例依赖的DAG图。每个业务日期下包含的补数据实例的DAG相同。

  • 第一层、第二层:单个补数据实例的支持的操作。

    操作

    描述

    一键终止

    Dataphin自动选中当前文件夹下运行状态为等待中运行中的节点、状态为未运行运行中等待中的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。

    一键重跑失败实例

    Dataphin自动选中当前文件夹下运行状态为失败的节点或逻辑表字段进行重跑。同时对其他运行状态的节点或逻辑表字段无影响。

  • 第三层:单个补数据实例支持的操作。

    image.png

    说明
    • 单击数据实例运行状态栏的image按钮,可根据运行状态快速筛选实例。运行状态包括:成功、失败、运行中、等待调度时间、限流中、未运行、等待调度资源。

    • 单击实例名称栏的image按钮,可搜索当前补数据任务中的补数据实例。

    • 单击补数据实例定时运行时间结束运行时间运行时长栏的image.png图标,支持按照定时运行时间结束运行时间运行时长进行升序降序排序。

    脚本任务、明细及汇总表任务补数据实例支持的操作与对应的周期实例支持的操作相同。更多信息,请参见:

已提交实例支持的批量操作

已提交实例支持的批量操作和周期实例支持的批量操作不同。已提交实例的批量操作详情见下表。

操作

描述

重跑

重跑包括重跑所有失败实例、重跑所有终态实例和强制重跑所有实例。重跑后,直接更新当前实例节点的数据。因当前实例运行失败而未开始运行的下游节点,在当前实例重跑成功后,会自动开始运行。

您可按照下图操作指引选择相应的操作。

image

  • 重跑所有失败实例:运行状态为失败的节点。

  • 重跑所有终态实例:运行状态为失败成功的节点。

  • 强制重跑所有实例:除逻辑表模型发生过变更的逻辑表实例外,其他所有状态的节点或字段均可强制重跑。

终止

成功未运行的实例不支持终止,其他状态实例均支持进行终止操作。终止后实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

说明

选中的实例中包括成功未运行状态的实例,不支持批量终止操作。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止实例。

  • 实例显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

置成功继续调度

同时将多个运行失败未运行的实例节点手动置运行成功,继续参与调度。下游仅因当前实例失败而被阻断运行的实例将开始运行。

重要

依赖当前实例运行产生数据的下游实例可能会运行错误,请您评估风险。

暂停

未运行等待调度时间限流中的实例支持暂停。

说明

暂停时只对支持暂停的实例生效,系统将自动跳过不支持暂停的实例。

恢复

仅暂停的实例支持恢复。

说明

恢复时只对支持暂停的实例生效,系统将自动跳过不支持恢复的实例。

补数据DAG节点支持的操作

按照下图操作指引,进入补数据DAG图。DAG图展示每个业务日期下补数据节点及其依赖节点间的关系。

Dataphin支持跨项目节点的运维管理。对跨项目的补数据实例节点进行运维操作时,需要具备实例所在项目的查看及操作权限。

image.png

说明

查看DAG图时,实例对象列表将展示实例对象的名称和定时运行时间。鼠标指针至实例对象,将展示当前对象的节点名、节点ID、定时运行时间、运行时长。

补数据DAG节点支持的操作与周期实例支持的操作相同,详情请参见: