逻辑表实例支持的运维操作

逻辑表实例是Dataphin每晚凌晨自动调度生成的实例快照。后续您可以对周期实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看生产链路、查看消费链路、查看物化代码等操作。本文为介绍逻辑表实例支持的运维操作。

运维操作概览

在逻辑表实例页面,您可以通过列表和DAG图方式执行相关运维操作,详细内容请参见逻辑表实例。逻辑表实例支持的运维操作概览见下表。

运维操作

描述

查看运行日志

查看当前实例运行的日志。

重跑

Dataphin仅支持重跑运行状态为成功失败逻辑表实例,且字段的归一状态为成功失败。关于逻辑表运行状态和字段的归一状态的更多内容,请参见运行状态。重跑后,当前实例已重跑的字段及其下游实例节点数据更新。

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑操作,但业务场景需要执行重跑操作,您可以执行强制重跑,详情请参见强制重跑当前实例强制重跑下游实例

字段及批量操作

支持对字段粒度的运维操作,详细内容请参见字段及批量操作

查看生产链路

查看逻辑表实例中字段的物化链路及物化节点的字段组。

查看消费链路

查看逻辑表实例节点的字段被依赖的情况,以便您运维管理字段时,分析对下游节点的影响。

查看物化代码

查看逻辑表实例的物化代码。

查看周期任务

查看逻辑表实例对应的逻辑表任务。

查看生产节点

进入Prod项目中,查看生成逻辑表实例的逻辑表任务。

重要

仅Dev-Prod模式项目空间的逻辑表实例支持查看生产节点。

编辑开发节点

进入Dev项目中,编辑生成逻辑表实例的逻辑表任务。

重要

仅Dev-Prod模式项目空间的逻辑表实例支持编辑开发节点。

编辑节点

进入Basic项目中,编辑生成逻辑表实例的逻辑表任务。

重要

仅Basic模式项目空间的逻辑表实例支持编辑开发节点。

重跑下游

适用于如下场景,但不仅限于此:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败,可以重跑下游节点。

Dataphin仅支持重跑运行状态为成功失败的逻辑表实例,且归一状态为成功失败字段的下游节点。关于逻辑表运行状态和字段的归一状态的更多内容,请参见逻辑表实例

如果由于逻辑表实例运行状态和字段归一状态的限制,无法执行重跑下游操作,但业务场需要执行重跑下游操作,您可以执行强制重跑,详情请参见强制重跑当前实例强制重跑下游实例

置成功继续调度

将运行失败的实例节点手动置运行成功,继续参与调度。

终止

Dataphin仅支持终止运行状态为运行中等待中的逻辑表实例、且归一运行状态为运行中等待中的字段,终止后实例的运行状态和字段的归一运行状态变更为失败。适用于如下场景,但不仅限于此:

  • 由于Dataphin异常或操作失误,需要终止逻辑表实例或字段的运行。

  • 逻辑表实例或字段显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑当前实例

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

强制重跑下游实例

强制重跑下游实例的详细说明如下:

  • 执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。

  • 仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制,关于实例起调条件的说明,详细请参见依赖关系及运行说明

去除上游依赖

去除上游依赖说明:

  • 支持针对整个逻辑表解除与某个上游实例的依赖关系,暂不支持去除单个字段的上游依赖。

  • 至少保留一个上游实例。

暂停

暂停当前逻辑表实例或字段后,不影响生成该实例的逻辑表任务对应的其他实例及字段节点的运行。通常,暂停实例适用于调度资源或计算资源紧张的场景,需要先暂停低优先级的实例保证高优任务先运行。

重要

暂停实例或字段后,依赖暂停实例和字段的下游实例节点的运行也会受阻,请您合理评估。

恢复

Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,系统会主动检查当前节点是否已经满足运行条件:

  • 上游节点是否已经全部运行成功。

  • 当前字段是否已经到达定时调度时间。

如果已经满足上述运行条件,则自动开始运行;如果不满足条件,仅取消字段的冻结状态,后续满足运行条件后,字段即可开始运行。

查看运行日志

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入某实例的运行日志页面。

    gagaga
  3. 在某实例的运行日志页面,查看运行日志。

    aga

重跑

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心页面,按照下图操作指引,进入重跑当前实例-逻辑表对话框。

    gagaga
  3. 重跑当前实例-逻辑表对话框,选择需要重跑的字段。

    gagag

    重跑范围

    描述

    全表

    全表即逻辑表中的所有字段执行重跑操作。仅当表中所有的字段的运行状态为成功失败,才可以选择全表重跑。

    指定字段

    您可以根据业务需求指定需要重跑的字段,但仅能选中字段的运行状态为成功失败

    您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

  4. 单击确定后,如果已选字段有连带字段,会为您展示,需要您确认并单击确定

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带重跑。fagaga

字段及批量操作

在逻辑表实例页面支持对字段及批量字段进行运维操作,详细内容请参见字段及批量操作gagag

查看生产链路

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入逻辑表实例的生产链路页面。

    gagag
  3. 在逻辑表实例的生产链路页面,查看逻辑表实例中字段的物化链路及物化节点的字段组。

    test

    序号

    描述

    展示当前逻辑表实例节点的字段及字段的运行状态。您可以选择不同的字段,页面右侧展示已选字段的生产链路信息。

    字段的运行状态,请参见运行状态

    展示当前选中字段的物化链路。

    展示物化节点的所有字段。

    展示当前逻辑表节点的物化节点。

    如果逻辑表节点有多个物化节点,则单击物化节点信息展示区域④,切换查看不同的物化节点信息。

查看消费链路

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入逻辑表实例的消费链路页面。

    gagag
  3. 在逻辑表实例的消费链路页面,查看逻辑表实例节点的字段被依赖的情况。

    tata

    序号

    描述

    展示当前逻辑表实例节点的字段。您可以选择不同的字段,页面右侧展示已选字段的消费链路信息。

    展示选中字段下游节点,便于您运维管理该字段时,分析对下游节点的影响。

查看物化代码

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入物化代码页面。

    gaga
  3. 查看逻辑表实例所有物化节点的物化代码。

    fagaga在查看物化代码页面,您可以在区域①切换逻辑表所有的物化节点,查看对应物化节点的物化代码。同时,您也可以将鼠标悬停至区域②的test图标,查看归属该物化节点的字段。

查看周期任务

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,查看逻辑表实例对应的逻辑表任务。

    gagag

查看生产节点

进入Prod项目中,查看生成逻辑表实例的逻辑表任务。

重要

仅Dev-Prod模式项目空间的逻辑表实例支持查看生产节点。

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入Prod项目中查看生成逻辑表实例的逻辑表任务的配置。

    gagaga

编辑开发节点

进入Dev项目中,编辑生成逻辑表实例的逻辑表任务。

重要

仅Dev-Prod模式项目空间的逻辑表实例支持编辑开发节点。

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入Dev项目中的生成该逻辑表实例的任务页面,可以进行编辑该任务。

    gagag

编辑节点

进入Basic项目中,编辑生成逻辑表实例的逻辑表任务。

重要

仅Basic模式项目空间的逻辑表实例支持编辑开发节点。

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,编辑某逻辑表实例节点对应的逻辑表任务。

    gagaga

重跑下游

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入重跑下游-逻辑表对话框。

    gagag
  3. 重跑下游-逻辑表配置向导页面,完成以下操作。

    1. 基本信息页面,选择起始逻辑表实例需要重跑的字段范围及运行方式。

      gagaga

      参数

      描述

      起始节点

      选择重跑下游的起始节点。支持选择全表指定字段,详细说明如下:

      • 全表:逻辑表实例中的所有字段执行重跑下游实例操作。

      • 指定字段:您可以根据业务需求指定需要重跑下游节点的字段。

        您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      起点运行方式

      定义起始节点的运行方式。支持选择空跑运行正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

    2. 基本信息页面,选择需要重跑的字段。

      agaga

      您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      其中优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。

    3. 单击下一步,如果已选字段有连带字段,会为您展示,需要您确认并单击确定

      为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带重跑。

    4. 下游配置页面,选择重跑下游节点的范围。

      gagg

      下游重跑范围

      描述

      所有失败实例

      仅选中依赖当前实例且运行失败的字段及其连带字段进行重跑。

      自定义配置

      如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。gagag您可以通过运行失败、下游节点层级及优先展示必选字段筛选下游实例节点。您也可输入节点名称和节点ID快速筛选下游节点。

    5. 单击提交

      重跑下游后,下游实例节点数据更新。

置成功继续调度

将运行失败的实例节点手动置运行成功,继续参与调度。

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入置成功继续调度-逻辑表对话框。

    gagag
  3. 置成功继续调度-逻辑表对话框,配置参数。

    gagaga

    操作范围

    描述

    失败字段

    仅选中当前实例且运行失败的字段及其连带字段进行置成功继续调度。

    自定义配置

    如果您需要自定义指定置成功继续调度的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。gagaga您可以通过选中运行失败进行筛选字段。同时您也可以输入字段名称快速筛选字段。

  4. 单击确定后,会为您展示连带必选字段弹框,需要您确认并单击确定

    gagag
    运行状态或归一运行状态置为失败的逻辑表实例或字段会继续参与调度。同时为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段,均会被连带置为成功继续重跑(连带字段归属的其他物化节点不会被选中)。

终止

Dataphin仅支持终止运行状态为运行中等待中的逻辑表实例、且归一运行状态为运行中等待中的字段,终止后实例的运行状态和字段的归一运行状态变更为失败。适用于如下场景,但不仅限于此:

  1. 请参见入口介绍,进入运维中心页面。

  2. 在运维中心,按照下图操作指引,进入终止-逻辑表对话框。

    gagag
  3. 终止-逻辑表对话框,配置参数。

    gagaga

    操作范围

    描述

    等待中&运行中字段

    仅选中当前实例且运行状态为等待中、运行中的字段及其连带字段进行终止。

    自定义配置

    如果您需要自定义指定终止的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以通过运行状态进行筛选。

  4. 单击确定后,会为您展示连带必选字段弹框,需要您确认并单击确定

    gagag
    运行状态或归一运行状态为运行中等待中的逻辑表实例或字段会继续参与调度。同时为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段,均会被连带终止(连带字段归属的其他物化节点不会被选中)。

强制重跑当前实例

强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

  1. 请参见入口介绍,进入运维中心页面。

  2. 逻辑表实例页面,按照下图操作指引,进入强制重跑当前实例-逻辑表对话框。

    gagga
  3. 强制重跑当前实例-逻辑表对话框,配置参数。

    gagaga

    强制重跑范围

    描述

    全表

    强制重跑该逻辑表中的所有字段。

    指定字段

    您可以根据业务需求指定需要重跑的字段,当前逻辑表实例中的所有归一运行状态的字段均支持强制重跑。

    您可以通过字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

  4. 单击确定后,会为您展示连带必选字段弹框,需要您确认并单击确定

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。gagag

强制重跑下游实例

强制重跑下游实例的详细说明如下:

  1. 请参见入口介绍,进入运维中心页面。

  2. 逻辑表实例页面,按照下图操作指引,进入强制重跑下游实例-逻辑表对话框。

    gagag
  3. 强制重跑下游实例-逻辑表对话框中,选择配置方式及配置对应的参数。

    强制重跑下游实例支持快键配置及自定义配置,详细说明如下:

    • 选择快捷配置后,配置参数。gagag

      1. 选择起始节点为全表及起点的运行方式。

        参数

        描述

        起始节点

        快捷配置起始节点默认选择为全表,即逻辑表实例中的所有字段为起始节点。

        起点运行方式

        定义起始节点的运行方式。支持选择空跑运行正常运行,详细说明如下:

        • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

        • 正常运行:正常调度。

      2. 选择下游强制重跑的范围。

        快捷配置的下游强制重跑范围默认选择依赖当前逻辑表实例的所有下游实例。

    • 选择自定义配置后,按照下图操作指引,配置基本信息下游配置页面的参数。gagaga

      参数

      描述

      起始节点

      选择重跑下游的起始节点。Dataphin支持选择全表指定字段,详细说明如下:

      • 全表:逻辑表实例中的所有字段执行强制重跑下游实例操作。

      • 指定字段:您可以根据业务需求指定需要强制重跑下游节点的字段。

        您可以按照字段运行状态进行筛选,也可以通过字段名称进行搜索选中目标字段。

      起点运行方式

      定义起始节点的运行方式。Dataphin支持选择空跑运行正常运行,详细说明如下:

      • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

      • 正常运行:正常调度。

      字段列表

      您可以通过优先展示必选字段,进行筛选字段。您也可以输入字段名称快速筛选字段。

      优先展示必选字段为保障数据质量,Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入强制重跑范围的字段。

      下游强制重跑范围

      选择下游强制重跑范围,包括所有实例自定义配置,详细说明如下:

      • 所有实例:已选字段的所有下游实例节点。

      • 自定义配置:如果您需要自定义指定强制重跑下游的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。

  4. 单击提交后,会为您展示连带必选字段弹框,需要您确认并单击确定

    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段,均会被连带强制重跑。

去除上游依赖

去除上游依赖说明:

  1. 请参见入口介绍,进入运维中心页面。

  2. 逻辑表实例页面,按照操作指引,进入去除上游依赖对话框。

    gagaga
  3. 去除上游依赖对话框中,选择需要去除的上游依赖节点。

    gaag
  4. 单击确定

暂停

暂停当前逻辑表实例或字段后,不影响生成该实例的逻辑表任务对应的其他实例及字段节点的运行。通常,暂停实例适用于调度资源或计算资源紧张的场景,需要先暂停低优先级的实例保证高优任务先运行。

重要

暂停实例或字段后,依赖暂停实例和字段的下游实例节点的运行也会受阻,请您合理评估。

  1. 请参见入口介绍,进入运维中心页面。

  2. 逻辑表实例页面,按照下图操作指引,进入暂停实例-逻辑表对话框。

    gagaga
  3. 暂停实例-逻辑表对话框,配置参数。

    gagaga

    操作范围

    描述

    未运行字段

    暂停逻辑表实例节点的所有归一运行状态为未运行且状态不是暂停状态的字段。

    所有字段

    暂停逻辑表实例中所有非暂停状态的字段。

    自定义配置

    如果您需要自定义暂停调度的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。

  4. 单击确定后,会为您展示连带必选字段弹框,需要您确认并单击确定

    gagag
    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段,均会被连带重跑(连带字段归属的其他物化节点不会被选中)。

恢复

Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,系统会主动检查当前节点是否已经满足运行条件:

  1. 逻辑表实例页面,按照下图操作指引,进入恢复实例-逻辑表对话框。

    gagaga
  2. 恢复实例-逻辑表对话框,选择操作范围。

    gagag

    操作范围

    描述

    暂停字段

    将所有暂停的字段恢复正常调度。

    自定义配置

    如果您需要自定义暂停调度的节点,可以选择自定义配置,支持按照字段名称进行搜索,也可以运行状态进行筛选。

  3. 单击确定后,会为您展示连带必选字段弹框,需要您确认并单击确定

    gagag
    为了保障数据一致性与正确性,已选字段所属物化节点内包含的所有字段,均会被连带重跑(连带字段归属的其他物化节点不会被选中)。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈