查看并管理明细及汇总表实例

周期明细及汇总表实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,您可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍如何查看并管理明细及汇总表实例。

背景信息

周期明细及汇总表实例包括维度逻辑表实例事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。

使用说明

规范建模采用动态物化逻辑,因此您可基于以下2个运维视角进行运维管理:

  • 物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

  • 逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

周期明细及汇总表实例页面入口

  1. 在Dataphin首页,单击顶部菜单栏研发。默认进入数据开发页面。

  2. 按照下图操作指引,进入明细及汇总表实例页面。

    image.png

查看周期明细及汇总表列表

周期明细及汇总表任务生成实例后,为您展示当前实例对象的名称、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。

image.png

字段

描述

实例对象

运行一个周期任务得到一个周期实例对象。包含表名称和表ID。并标识任务的调度方式。更多信息,请参见周期实例提示标记说明

说明

单击实例对象排序image.png图标,支持根据对象名称进行升序或倒序排序。

运行状态

明细及汇总表运行状态包括字段运行状态和节点运行状态。可单击image查看每种运行状态对应的运行状态详情。如下图所示:

image

字段运行状态包括逻辑表内所有字段的运行状态。例如test图标,表示该逻辑表的字段有运行成功未运行的两种状态。字段运行状态图标后字段对应的数量为当前逻辑表节点的字段数量;节点对应的数量为当前逻辑表节点的物化节点数量。同时您也可以单击fagag图标,查看每个字段的归一运行状态。运行状态提示说明,请参见周期实例运行状态说明

字段的运行状态由其归属的所有物化节点的运行状态决定,最终展示字段的归一运行状态。具体规则说明如下:

  • 字段归属的所有物化节点中只要有一个物化节点的运行状态为成功,则字段归一状态即为成功

  • 字段归属的所有物化节点中只有所有物化节点的运行状态为失败,字段归一状态才为失败

  • 字段归属的所有物化节点中只要有一个物化节点的运行状态为运行中,则字段归一状态为运行中

  • 字段归属的所有物化节点中有部分物化节点的运行状态为等待中,部分物化节点的运行状态为未运行失败,则字段的归一状态为等待中

  • 字段归属的所有物化节点的运行状态为未运行,则字段的归一状态为未运行

调度周期

实例所属的调度周期。

业务日期

实例生成时的业务时间。

定时运行时间

实例的定时运行时间。

说明

单击定时运行时间的image.png图标,支持按照定时运行时间进行升序或降序排序。

开始运行时间

实例开始运行时的时间。

说明
  • 单击开始运行时间的image.png图标,支持按照开始运行时间进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最早开始运行的内部物化节点对应的时间。

结束运行时间

实例运行结束时的时间。

说明
  • 单击结束运行时间的image.png图标,支持按照结束运行时间进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最晚结束运行的内部物化节点对应的时间。

运行时长

实例开始到结束时的时间间距时长。

说明
  • 单击运行时长的image.png图标,支持按照运行时长进行升序或降序排序。

  • 对于逻辑表节点,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。

优先级

实例所属的优先等级。

说明

若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

运维负责人

实例的运维负责人。

相关基线实例

展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

调度资源组

实例所属的资源组名称。

周期明细及汇总表实例列表支持的操作

操作

描述

DAG图

单击image可查看该周期实例的DAG图。更多信息,请参见周期实例DAG图

查看运行日志

单击image可查看该周期实例运行日志信息。

image

重跑

单击image可重跑该周期实例。重跑操作仅支持重跑运行状态为成功失败的脚本实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行

如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

字段及批量操作

可对该明细及汇总表实例中的字段进行批量运维操作。更多信息,请参见逻辑表字段及批量操作

查看生产链路

查看逻辑表实例中字段的物化链路及物化节点的字段组。更多信息,请参见逻辑表字段及批量操作

查看消费链路

查看逻辑表实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。更多信息,请参见逻辑表字段及批量操作

查看物化代码

查看逻辑表实例的物化代码。

image

周期任务

查看逻辑表实例对应的逻辑表任务。

查看延迟数据

查看逻辑表实例对应的延迟数据信息。

编辑开发节点

在开发环境中,单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。

说明

仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

查看生产节点

在生产环境中,单击可快捷的跳转到该实例的生产页面。

说明

仅Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

编辑节点

在Basic项目中,单击可快捷的跳转到编辑生成脚本实例的脚本任务。

说明

仅Basic模式项目空间的脚本实例支持编辑开发节点。

重跑下游

将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败脚本实例的下游节点。下游运行状态为等待中运行中的实例无法被重跑。具体操作,请参见重跑下游

如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

置成功继续调度

可将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。具体操作,请参见置成功继续调度

终止

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。终止后实例的节点状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止实例。

  • 脚本显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

强制重跑支持强制重跑当前实例和强制重跑下游实例。

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前脚本实例后,当前脚本实例的数据更新。具体操作,请参见强制重跑当前实例

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

去除上游依赖

可去除所有运行状态的脚本实例的上游依赖。

image

重要

需至少保留一个上游实例。

暂停

未运行等待调度时间限流中的实例支持暂停。不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。

说明

暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。

明细及汇总表实例DAG节点支持的操作

DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中明细及汇总表实例节点,您可以对实例进行相关的运维操作。

Dataphin支持跨项目实例节点的运维管理。对跨项目的明细及汇总表实例节点进行运维操作时,需要具备实例所在项目的查看及操作权限。汇总表实例仅支持对有权限的指标操作。

image.png

  • DAG图支持的操作

    操作

    描述

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

    查看任务

    进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。更多信息,请参见查看并管理明细汇总表任务

    展开物化节点

    展开该逻辑表对应的内部物化节点。

    image

    鼠标悬停至物化节点显示框内,右键单击或单击图标后,可以查看该物化节点的节点代码、物化节点字段和运行日志。image

    查看操作日志

    查看该实例进行相关操作的日志信息。

    image

  • DAG节点支持的操作

    明细及汇总表实例DAG节点支持的操作与明细及汇总表实例列表支持的操作相同。更多信息,请参见周期明细及汇总表实例列表支持的操作

明细及汇总表实例批量操作

周期脚本支持的批量操作说明如下:

操作

描述

重跑所有失败实例

重跑所有失败实例:

可批量重跑所有失败实例节点。

重跑所有终态实例:

可批量重跑所有终态实例节点。

强制重跑所有实例:

可批量强制重跑当前实例节点及其下游未运行的实例节点。

终止

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。如果仅选中节点状态成功失败未运行的实例,则不支持批量终止操作。

置成功继续调度

可批量将运行失败未运行的实例节点手动置运行成功,继续参与调度。

暂停

未运行等待调度时间限流中的实例支持暂停。如果未选中未运行、等待调度时间、限流中的实例,则不支持批量暂停操作。

恢复

恢复正在暂停中的周期实例。

重跑下游

  1. 重跑下游对话框中,配置参数。

    说明
    • 重跑明细及汇总表仅支持重跑运行状态为成功失败,且归一状态为成功和失败字段的下游节点。关于逻辑表运行状态和字段的归一状态,请参见查看周期明细及汇总表列表

    • 如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

    • 基本信息

      image.png

      您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      其中优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。

      说明

      为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带重跑。

      参数

      描述

      起始节点

      选择重跑下游的起始节点。支持选择全表和指定字段,详细说明如下:

      • 全表:逻辑表实例中的所有字段执行重跑下游实例操作。

      • 指定字段:您可以根据业务需求指定需要重跑下游节点的字段。

        您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      起点运行方式

      定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

    • 下游配置

      image

      下游重跑范围

      描述

      所有失败实例

      仅选中依赖当前实例且运行失败的字段及其连带字段进行重跑。

      自定义配置

      如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。image您可以通过运行失败、下游节点层级及优先展示必选字段筛选下游实例节点。您也可输入节点名称和节点ID快速筛选下游节点。

  2. 单击提交

    重跑下游后,下游实例节点数据更新。

强制重跑当前实例

  1. 强制重跑当前实例-逻辑表对话框中,配置重跑参数。

    image.png

    强制重跑范围

    描述

    全表

    强制重跑该逻辑表中的所有字段。

    指定字段

    您可以根据业务需求指定需要重跑的字段,当前逻辑表实例中的所有归一运行状态的字段均支持强制重跑。

    您可以通过字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

  2. 单击确定后,会为您展示连带必选字段对话框,需要您确认并单击确定

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。

强制重跑下游实例

  1. 在强制重跑下游实例-逻辑表对话框中,选择配置方式及配置对应的参数。

  2. 强制重跑下游实例支持快捷配置自定义配置,详细说明如下:

    • 快捷配置imagea. 选择起始节点为全表及起点的运行方式。

      参数

      描述

      起始节点

      快捷配置起始节点默认选择为全表,即逻辑表实例中的所有字段为起始节点。

      起点运行方式

      定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

      b. 选择下游强制重跑的范围。

      快捷配置的下游强制重跑范围默认选择依赖当前逻辑表实例的所有下游实例。

    • 自定义配置

      • 基本信息

        image

        参数

        描述

        起始节点

        选择重跑下游的起始节点。Dataphin支持选择全表和指定字段,详细说明如下:

        • 全表:逻辑表实例中的所有字段执行强制重跑下游实例操作。

        • 指定字段:您可以根据业务需求指定需要强制重跑下游节点的字段。

          您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

        起点运行方式

        定义起始节点的运行方式。Dataphin支持选择空跑运行和正常运行,详细说明如下:

        • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

        • 正常运行:正常调度。

      • 下游配置

        image

        参数

        描述

        下游强制重跑范围

        选择下游强制重跑范围,包括所有实例和自定义配置,详细说明如下:

        • 所有实例:已选字段的所有下游实例节点。

        • 自定义配置:如果您需要自定义指定强制重跑下游的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。

        字段列表

        您可以通过优先展示必选字段,进行筛选字段。您也可以输入字段名称快速筛选字段。

        优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入强制重跑范围的字段。

  3. 单击提交后,会为您展示连带必选字段弹框,需要您确认并单击确定。

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。

逻辑表字段及批量操作

明细及汇总表字段列表页面展示当前明细及汇总表所包含的字段,字段信息包括字段名称、运行状态、字段类型、开始运行时间、结束运行时间、运行时长及支持的操作。

image

操作

描述

查看生产链路

查看明细及汇总表实例中字段的物化链路及物化节点的字段组。

image

①展示当前明细及汇总表实例节点的字段及字段的运行状态。您可以单击选择不同的字段,页面右侧展示已选字段的生产链路信息。

②展示当前选中字段的物化链路。

③展示物化节点的所有字段。

④展示当前明细及汇总表节点的物化节点。如果逻辑表节点有多个物化节点,则单击物化节点信息展示区域④,切换查看不同的物化节点信息。

查看运行日志

查看当前实例运行的日志。

image

查看物化代码

查看明细及汇总表实例所有物化节点的物化代码。

image

在查看物化代码页面,您可以在区域①切换明细及汇总表所有的物化节点,查看对应物化节点的物化代码。同时,您也可以将鼠标悬停至区域②的test图标,查看归属该物化节点的字段。

查看消费链路

查看明细及汇总表实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。

image

①展示当前明细及汇总表实例节点的字段。您可以选择不同的字段,页面右侧展示已选字段的消费链路信息。

②展示选中字段下游节点,便于您运维管理该字段时,分析对下游节点的影响。

重跑

Dataphin仅支持重跑运行状态为成功失败逻辑表实例,且字段的归一状态为成功失败。重跑后,当前实例已重跑的字段及其下游实例节点数据更新。

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑操作,但业务场景需要执行重跑操作,您可以执行强制重跑,具体操作,请参见强制重跑当前实例

重跑下游

Dataphin仅支持重跑运行状态为成功失败的明细及汇总表实例,且归一状态为成功失败字段的下游节点。

如果由于明细及汇总表实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。请参见强制重跑当前实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败,可以重跑下游节点。

终止

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。终止后实例的节点状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止实例。

  • 脚本显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。具体操作,请参见强制重跑当前实例

强制重跑下游实例的详细说明如下:

  • 执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。

  • 仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,请参见依赖关系及运行说明

暂停

即将字段的当前调度周期置为暂停调度的状态。暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

置成功继续调度

将运行失败未运行状态的字段手动置运行成功,继续参与调度。具体操作,请参见置成功继续调度

恢复

Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,系统会主动检查当前节点是否已经满足运行条件:

  • 上游节点是否已经全部运行成功。

  • 当前字段是否已经到达定时调度时间。

如果已经满足上述运行条件,则自动开始运行;如果不满足条件,仅取消字段的冻结状态,后续满足运行条件后,字段即可开始运行。

置成功继续调度

  1. 置成功继续调度-逻辑表对话框中选择所需的操作范围。

    image

  • 失败字段:所有归一化运行状态为失败的字段将直接被置为成功。

  • 未运行字段:所有归一化运行状态为未运行的字段将直接被置为成功。

  • 失败未运行字段:所有归一化运行状态为失败、未运行的字段将直接被置为成功。

  • 自定义配置:可在字段列表勾选逻辑表实例中归一化运行状态为失败和未运行的字段进行置成功。如下图所示:

    image

  1. 单击确定,即可完成设置。