管理建模任务实例

周期建模任务实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,您可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍如何查看并管理建模任务实例。

背景信息

周期建模任务实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。

使用说明

规范建模采用动态物化逻辑,因此您可基于以下2个运维视角进行运维管理:

  • 物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

  • 逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

周期建模任务实例页面入口

  1. Dataphin首页的顶部菜单栏,选择研发 > 任务运维

  2. 在左侧导航栏中选择实例运维 > 周期实例

  3. 在顶部菜单栏中选择生产或开发环境。

  4. 周期实例页面,单击建模任务页签。

建模任务实例列表支持的操作

周期建模任务生成建模任务实例后,将在周期实例 > 建模任务列表为您展示。建模任务实例列表页面为您展示当前实例对象的名称、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、项目、相关基线实例以及支持的操作。

  • 实例对象:运行一个周期任务得到一个周期实例对象。包含表名称和表ID。并标识任务的调度方式。可单击列名旁的image.png图标,根据对象名称进行升序或降序排序。更多信息,请参见周期实例提示标记说明

  • 运行状态:建模运行状态包括字段运行状态和节点运行状态。可单击字段后的image图标查看每种运行状态对应的运行状态详情。

    字段运行状态包括逻辑表内所有字段的运行状态。例如test图标,表示该逻辑表的字段有运行成功未运行的两种状态。字段运行状态图标后字段对应的数量为当前逻辑表节点的字段数量;节点对应的数量为当前逻辑表节点的物化节点数量。同时您也可以单击fagag图标,查看每个字段的归一运行状态。运行状态提示说明,请参见周期实例运行状态说明

    字段的运行状态由其归属的所有物化节点的运行状态决定,最终展示字段的归一运行状态。具体规则说明如下:

    • 字段归属的所有物化节点中只要有一个物化节点的运行状态为成功,则字段归一状态即为成功

    • 字段归属的所有物化节点中只有所有物化节点的运行状态为失败,字段归一状态才为失败

    • 字段归属的所有物化节点中只要有一个物化节点的运行状态为运行中,则字段归一状态为运行中

    • 字段归属的所有物化节点中有部分物化节点的运行状态为等待中,部分物化节点的运行状态为未运行失败,则字段的归一状态为等待中

    • 字段归属的所有物化节点的运行状态为未运行,则字段的归一状态为未运行

  • 开始运行时间:实例开始运行时的时间,单击列名旁的image.png图标,按照开始运行时间进行升序或降序排序。

    说明

    逻辑表节点的开始运行时间,为实例对象最早开始运行的内部物化节点对应的时间。

  • 结束运行时间:实例结束运行时的时间,单击列名旁的image.png图标,按照结束运行时间进行升序或降序排序。

    说明

    逻辑表节点的结束运行时间,为实例对象最晚结束运行的内部物化节点对应的时间。

  • 运行时长:实例开始运行到结束运行时的总时长,单击列名旁的image.png图标,按照运行时长进行升序或降序排序。

    说明

    逻辑表节点的运行时长,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。

  • 优先级:实例所属的优先等级。

    说明

    若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

  • 项目:任务所属的项目,展示格式为项目英文名(项目中文名)

  • 相关基线实例:展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

    说明

    若未开通基线功能,则不展示该字段信息。

建模任务实例列表支持的操作如下:

操作

描述

DAG

单击image图标,可查看该周期实例的DAG图。更多信息,请参见周期实例DAG

查看运行日志

单击image图标,可查看该周期实例运行日志信息。

重跑

单击image图标,可重跑该周期实例。重跑操作仅支持重跑运行状态为成功失败的脚本实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行

如果业务场景需要执行重跑操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

查看甘特图

说明

已购买智能运维增值服务后,方可查看甘特图。

单击image图标,选择查看甘特图,打开查看甘特图对话框并配置以下参数。

  • 选中节点作为:可选择将当前节点作为开始节点结束节点。当选择开始节点时,下方开始节点中默认选择当前节点,不可修改;选择结束节点时同理。

  • 开始节点:选择甘特图的开始节点,支持按照节点关键字搜索,列表中可选节点的格式为 {节点名称}({节点 ID,{实例定时运行时间}})。当选中节点作为结束节点时,开始节点默认为租户根节点。

    说明

    小时和分钟任务存在多个节点(每一个实例为一个节点),各节点间使用实例定时运行时间进行区分。

  • 结束节点:选择甘特图的结束节点,支持按照节点关键字搜索,列表中可选节点的格式为 {节点名称}({节点 ID,{实例定时运行时间}})

    说明

    当结束节点选择逻辑表时,因逻辑表作为一个整体,所以暂不支持选择字段。

甘特图详细说明请参见查看关键路径甘特图

字段及批量操作

单击image图标,选择字段及批量操作,可对该建模任务实例中的字段进行批量运维操作。更多信息,请参见逻辑表字段及批量操作

查看生产链路

单击image图标,选择查看生产链路,查看逻辑表实例中字段的物化链路及物化节点的字段组。更多信息,请参见逻辑表字段及批量操作

查看消费链路

单击image图标,选择查看消费链路,查看逻辑表实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。更多信息,请参见逻辑表字段及批量操作

查看物化代码

单击image图标,选择查看物化代码,查看逻辑表实例的物化代码。

周期任务

单击image图标,选择周期任务,查看逻辑表实例对应的逻辑表任务。

编辑开发节点

单击image图标,选择编辑开发节点,在开发环境中,单击可快捷的跳转到该实例的开发页面,您可对该实例进行修改。

说明

Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

查看生产节点

单击image图标,选择查看生产节点,在生产环境中,单击可快捷的跳转到该实例的生产页面。

说明

Dev-Prod模式项目空间的脚本实例支持编辑开发节点。

编辑节点

单击image图标,选择编辑节点,在Basic项目中,单击可快捷的跳转到编辑生成脚本实例的脚本任务。

说明

Basic模式项目空间的脚本实例支持编辑开发节点。

重跑下游

单击image图标,选择重跑下游,将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败脚本实例的下游节点。下游运行状态为等待中运行中的实例无法被重跑。具体操作,请参见重跑下游

如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

置成功继续调度

单击image图标,选择置成功继续调度,可将运行失败未运行的脚本实例节点手动置运行成功,继续参与调度。具体操作,请参见置成功继续调度

终止

单击image图标,选择终止,终止当前运行的实例,终止后实例的节点状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

说明

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止实例。

  • 脚本显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

单击image图标,选择强制重跑后,选择强制重跑当前实例强制重跑下游实例

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前脚本实例后,当前脚本实例的数据更新。具体操作,请参见强制重跑当前实例

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

去除上游依赖

单击image图标,选择去除上游依赖,可去除所有运行状态的脚本实例的上游依赖。

重要

需至少保留一个上游实例。

暂停

单击image图标,选择暂停,仅未运行等待调度时间限流中的实例支持暂停。不影响生成该脚本实例的脚本任务对应的其他实例的运行。暂停后,当前脚本实例节点及下游依赖实例节点均不调度。

说明

暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

单击image图标,选择恢复,可恢复已暂停的脚本实例节点。恢复后,当前脚本实例节点及下游实例节点正常调度。

修改优先级

单击image图标,选择修改优先级,在修改优先级对话框中修改当前任务的优先级,可选择最高最低

说明

汇总逻辑表存在多个优先级。

建模任务实例DAG节点支持的操作

DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中建模任务实例节点,您可以对实例进行相关的运维操作。

Dataphin支持跨项目实例节点的运维管理。对跨项目的建模任务实例节点进行运维操作时,需要具备实例所在项目的查看及操作权限。汇总表实例仅支持对有权限的指标操作。

  • DAG图支持的操作

    操作

    描述

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

    查看任务

    进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。更多信息,请参见管理建模任务

    展开物化节点

    展开该逻辑表对应的内部物化节点。

    鼠标悬停至物化节点显示框内,右键单击或单击图标后,可以查看该物化节点的节点代码、物化节点字段和运行日志。image

    查看操作日志

    查看该实例进行相关操作的日志信息。

  • DAG节点支持的操作

    建模任务实例DAG节点支持的操作与建模任务实例列表支持的操作相同。更多信息,请参见建模任务实例列表支持的操作

建模任务实例支持的批量操作

操作

描述

重跑所有失败实例

选中多个建模任务实例后,在列表底部选择重跑所有失败实例重跑所有终态实例强制重跑所有实例

  • 重跑所有失败实例批量重跑所有失败实例节点。

  • 重跑所有终态实例批量重跑所有终态实例节点。

  • 强制重跑所有实例批量强制重跑当前实例节点及其下游未运行的实例节点。

终止

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。如果仅选中节点状态成功失败未运行的实例,则不支持批量终止操作。

置成功继续调度

可批量将运行失败未运行的实例节点手动置运行成功,继续参与调度。

暂停

未运行等待调度时间限流中的实例支持暂停。如果未选中未运行、等待调度时间、限流中的实例,则不支持批量暂停操作。

恢复

恢复正在暂停中的周期实例。

修改优先级

批量修改所选中实例的优先级,可选择最高最低

说明

汇总逻辑表存在多个优先级。

下载所有

下载所有周期实例(包括集成和计算任务实例以及建模任务实例)数据至本地,下载文件为.xlsx格式,名称格式为Dataphin周期实例_{时间戳}.xlsx

表格中包含实例对象、实例ID、运行状态、调度周期、业务日期、优先级、运维负责人、项目(汇总逻辑表存在多个项目,各项目间使用逗号(,)分隔)、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、相关基线实例(实例所涉及到的基线名称,多个名称间使用逗号(,)分隔)和调度资源组(建模任务实例下,此参数为空值)信息。

重跑下游

  1. 重跑下游对话框中,配置参数。

    说明
    • 重跑建模任务仅支持重跑运行状态为成功失败,且归一状态为成功和失败字段的下游节点。关于逻辑表运行状态和字段的归一状态,请参见查看周期建模列表

    • 如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。具体操作,请参见强制重跑当前实例

    • 基本信息

      您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      其中优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。

      说明

      为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带重跑。

      参数

      描述

      起始节点

      选择重跑下游的起始节点。支持选择全表和指定字段,详细说明如下:

      • 全表:逻辑表实例中的所有字段执行重跑下游实例操作。

      • 指定字段:您可以根据业务需求指定需要重跑下游节点的字段。

        您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      起点运行方式

      定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

    • 下游配置

      下游重跑范围

      描述

      所有失败实例

      仅选中依赖当前实例且运行失败的字段及其连带字段进行重跑。

      自定义配置

      如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

      您可以通过运行失败、下游节点层级及优先展示必选字段筛选下游实例节点。您也可输入节点名称和节点ID快速筛选下游节点。

  2. 单击提交

    重跑下游后,下游实例节点数据更新。

强制重跑当前实例

  1. 强制重跑当前实例-逻辑表对话框中,配置重跑参数。

    强制重跑范围

    描述

    全表

    强制重跑该逻辑表中的所有字段。

    指定字段

    您可以根据业务需求指定需要重跑的字段,当前逻辑表实例中的所有归一运行状态的字段均支持强制重跑。

    您可以通过字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

  2. 单击确定后,会为您展示连带必选字段对话框,需要您确认并单击确定

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。

强制重跑下游实例

  1. 在强制重跑下游实例-逻辑表对话框中,选择配置方式及配置对应的参数。

  2. 强制重跑下游实例支持快捷配置自定义配置,详细说明如下:

    • 快捷配置

      a. 选择起始节点为全表及起点的运行方式。

      参数

      描述

      起始节点

      快捷配置起始节点默认选择为全表,即逻辑表实例中的所有字段为起始节点。

      起点运行方式

      定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

      b. 选择下游强制重跑的范围。

      快捷配置的下游强制重跑范围默认选择依赖当前逻辑表实例的所有下游实例。

    • 自定义配置

      • 基本信息

        参数

        描述

        起始节点

        选择重跑下游的起始节点。Dataphin支持选择全表和指定字段,详细说明如下:

        • 全表:逻辑表实例中的所有字段执行强制重跑下游实例操作。

        • 指定字段:您可以根据业务需求指定需要强制重跑下游节点的字段。

          您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

        起点运行方式

        定义起始节点的运行方式。Dataphin支持选择空跑运行和正常运行,详细说明如下:

        • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

        • 正常运行:正常调度。

      • 下游配置

        参数

        描述

        下游强制重跑范围

        选择下游强制重跑范围,包括所有实例和自定义配置,详细说明如下:

        • 所有实例:已选字段的所有下游实例节点。

        • 自定义配置:如果您需要自定义指定强制重跑下游的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。

        字段列表

        您可以通过优先展示必选字段,进行筛选字段。您也可以输入字段名称快速筛选字段。

        优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入强制重跑范围的字段。

  3. 单击提交后,会为您展示连带必选字段弹框,需要您确认并单击确定。

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。

逻辑表字段及批量操作

逻辑表字段及批量操作列表页面展示当前逻辑表所包含的字段,字段信息包括字段名称、运行状态、字段类型、开始运行时间、结束运行时间、运行时长及支持的操作。

操作

描述

查看生产链路

查看建模任务实例中字段的物化链路及物化节点的字段组。

image

①展示当前建模任务实例节点的字段及字段的运行状态。您可以单击选择不同的字段,页面右侧展示已选字段的生产链路信息。

②展示当前选中字段的物化链路。

③展示物化节点的所有字段。

④展示当前建模节点的物化节点。如果逻辑表节点有多个物化节点,则单击物化节点信息展示区域④,切换查看不同的物化节点信息。

查看运行日志

查看当前实例运行的日志。

查看物化代码

查看建模任务实例所有物化节点的物化代码。

image

在查看物化代码页面,您可以在区域①切换建模所有的物化节点,查看对应物化节点的物化代码。同时,您也可以将鼠标悬停至区域②的test图标,查看归属该物化节点的字段。

查看消费链路

查看建模任务实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。

image

①展示当前建模任务实例节点的字段。您可以选择不同的字段,页面右侧展示已选字段的消费链路信息。

②展示选中字段下游节点,便于您在运维管理该字段时,分析对下游节点的影响。

重跑

Dataphin仅支持重跑运行状态为成功失败逻辑表实例,且字段的归一状态为成功失败。重跑后,当前实例已重跑的字段及其下游实例节点数据更新。

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑操作,但业务场景需要执行重跑操作,您可以执行强制重跑,具体操作,请参见强制重跑当前实例

重跑下游

Dataphin仅支持重跑运行状态为成功失败的建模任务实例,且归一状态为成功失败字段的下游节点。

如果由于建模任务实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑。请参见强制重跑当前实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败,可以重跑下游节点。

终止

节点状态成功失败未运行的实例不支持终止,其他节点状态实例均支持进行终止操作。终止后实例的节点状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止实例。

  • 脚本显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。具体操作,请参见强制重跑当前实例

强制重跑下游实例的详细说明如下:

  • 执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。

  • 仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,请参见依赖关系及运行说明

暂停

即将字段的当前调度周期置为暂停调度的状态。暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

置成功继续调度

将运行失败未运行状态的字段手动置运行成功,继续参与调度。具体操作,请参见置成功继续调度

恢复

Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,系统会主动检查当前节点是否已经满足运行条件:

  • 上游节点是否已经全部运行成功。

  • 当前字段是否已经到达定时调度时间。

如果已经满足上述运行条件,则自动开始运行;如果不满足条件,仅取消字段的冻结状态,后续满足运行条件后,字段即可开始运行。

置成功继续调度

  1. 置成功继续调度-逻辑表对话框中选择所需的操作范围。

    • 失败字段:所有归一化运行状态为失败的字段将直接被置为成功。

    • 未运行字段:所有归一化运行状态为未运行的字段将直接被置为成功。

    • 失败未运行字段:所有归一化运行状态为失败、未运行的字段将直接被置为成功。

    • 自定义配置:可在字段列表选中逻辑表实例中归一化运行状态为失败和未运行的字段进行置成功。

  2. 单击确定,即可完成设置。