逻辑表实例是逻辑表任务运行生成的实例数据。Dataphin支持查看逻辑表任务运行后生成的实例数据,同时支持对逻辑表实例进行运维管理,包括查看运行日志、重跑实例、查看生产节点和查看节点代码等。本文为介绍对逻辑表实例进行运维操作的方式、支持的运维操作等。

背景信息

逻辑表实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。

规范建模采用动态物化逻辑,因此在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

在逻辑表实例页面,支持通过列表区批量操作区DAG图字段及批量操作方式对逻辑表实例及字段进行运维管理。关于逻辑表实例的页面介绍、相关说明,请参见通用功能说明

运行状态

在逻辑表实例中,逻辑表实例和字段均具有运行状态。详细说明如下:
  • 逻辑表实例的运行状态包括逻辑表内所有字段的运行状态。例如test图标,表示该逻辑表的字段有运行成功未运行的两种状态。
    运行状态图标后字段对应的数量为当前逻辑表节点的字段数量;节点对应的数量为当前逻辑表节点的物化节点数量。同时您也可以单击fagag图标,查看每种运行状态对应的字段数量。gagaga
  • 字段的运行状态由其归属的所有物化节点的运行状态决定,最终展示字段的归一运行状态。具体规则说明如下:
    • 字段归属的所有物化节点中只要有一个物化节点的运行状态为成功,则字段归一状态即为成功
    • 字段归属的所有物化节点中只有所有物化节点的运行状态为失败,字段归一状态才为失败
    • 字段归属的所有物化节点中只要有一个物化节点的运行状态为运行中,则字段归一状态为运行中
    • 字段归属的所有物化节点中有部分物化节点的运行状态为等待中,部分物化节点的运行状态为未运行失败,则字段的归一状态为等待中
    • 字段归属的所有物化节点的运行状态为未运行,则字段的归一状态为未运行

列表区

请参见入口介绍,进入运维中心页面。在运维中心按照下图操作指引,进入逻辑表实例的列表去进行相关的运维操作。运维操作的详细介绍,请参见逻辑表实例支持的运维操作gagag

批量操作区

在批量操作区执行重跑、终止、置成功继续调度、暂停和恢复操作时,Dataphin会根据字段状态及每种操作对应的限制,自动选中需要操作的字段及其对应的物化节点,无需您手动筛选需要操作的字段及其对应的物化节点,提升了批量运维管理的效率。

gagahga
  • 重跑包括重跑所有失败实例、重跑所有终态实例和强制重跑所有实例,按照下图操作指引执行相应的操作。faga
    操作 描述 限制
    重跑所有失败实例 运行状态为失败的节点、逻辑表字段及其连带字段执行重跑操作。 选中实例中,只要包含失败状态节点或逻辑表字段且逻辑表模型未发生过变更均可重跑。
    重跑所有终态实例 运行状态为失败成功的节点、逻辑表字段及其连带字段执行重跑操作。 选中的实例中,只要包含失败成功状态的节点或逻辑表字段且逻辑表模型未发生过变更均可重跑。
    强制重跑所有实例 只要选中实例即可强制重跑所有实例。 除了逻辑表模型发生过变更的逻辑表实例外,其他所有状态的节点或字段均可强制重跑。
  • 终止、置成功继续调度、暂停和恢复批量操作的详细说明见下表。
    操作 描述 限制
    终止 同时终止多个实例节点的运行。 选中的实例节点运行状态,包含运行中等待中的字段。
    置成功继续调度 同时置多个实例节点的运行状态为成功,并继续调度。 选中的实例节点运行状态,包含失败的字段。
    暂停 同时暂停多个实例节点的运行。 选中的实例节点运行状态,包含非暂停状态的字段。
    恢复 同时恢复多个实例节点为正常调度状态。 选中的实例节点调度状态,包含暂停状态的字段。

字段及批量操作

在运维中心,按照下图操作指引,进入某逻辑表实例的详情页面。gagag在逻辑表实例页面,支持查看逻辑表实例节点的基本信息、字段信息、支持对单字段和多字段进行运维管理。gagag
表 1. 单字段运维操作
操作 描述
查看生产链路 请参见查看生产链路
查看消费链路 请参见查看消费链路
查看物化代码 请参见查看物化代码
查看运行日志 请参见查看运行日志
重跑 重跑当前实例节点及其下游未运行的实例节点。
重跑下游 请参见重跑下游
终止 终止正在运行中或等待中的实例节点。适用于如下场景,但不仅限于此:
  • 由于系统异常或操作失误,需要终止实例运行。
  • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。
强制重跑当前实例 强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。具体操作请参见强制重跑当前实例
强制重跑下游实例 强制重跑下游实例的详细说明如下:
  • 执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。
  • 仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制,关于实例起调条件的说明,详细请参见依赖关系及运行说明
具体操作请参见强制重跑下游实例
暂停 即将字段的当前调度周期置为暂停调度的状态。

暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

置为成功 将运行失败的字段手动置运行成功,继续参与调度。
恢复
Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,Dataphin主动检查当前节点是否已经满足运行条件:
  • 上游节点是否已经全部运行成功。
  • 当前字段是否已经到达定时调度时间。
如果已经满足上述运行条件,则自动开始运行;如果不满足条件,仅取消字段的冻结状态,后续满足运行条件后,字段即可开始运行。
表 2. 多字段批量运维操作
操作 描述
重跑 同时重跑多个字段。选中的多个字段中包含失败成功状态的字段即可执行重跑操作。
重跑下游 同时重跑下游多个字段,选中的多个字段中包含成功失败状态的字段。具体操作请参见重跑下游
终止 同时终止多个字段的运行。选中的多个字段中包含运行中等待中状态的字段即可执行重跑操作。
强制重跑 同时强制重跑当前多个字段。所有状态的字段均支持强制重跑。具体操作请参见强制重跑当前实例
暂停 同时暂停多个字段的运行。选中的字段运行状态,包含非暂停状态的字段。

暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

置为成功 同时置多个字段的运行状态为成功,并继续调度。选中的多个字段中包含失败状态的字段。
恢复 同时恢复多个字段未正常调度状态。选中的多个字段中包含已暂停的字段。

DAG图

在运维中心,按照下图操作指引,进入逻辑表实例的DAG图。gagagDAG图默认展示Main节点和其上下游节点,清晰地为您展示逻辑表实例节点的上下游依赖关系,同时Dataphin支持对上下游节点进行运维和管理。gagga
编号 描述
为您展示逻辑表实例节点及其上下游节点的DAG图,包括如下信息:
  • 逻辑表实例节点框内,展示该逻辑表实例节点的字段和物化节点数量。
  • 鼠标悬停至逻辑表实例节点框内,右键单击或单击gagaga图标后,选择展开物化节点,展开该逻辑表对应的内部物化节点。gfaag
    鼠标悬停至物化节点显示框内,右键单击或单击gagaga图标后,可以查看该物化节点的节点代码、物化节点字段和运行日志。VBV
逻辑表实例节点和物化节点展示的节点信息不同:
  • 单击逻辑表实例节点后,展示逻辑表实例节点详情,包括逻辑表名、运行状态、运行时长、所在项目、运行时间和字段数量。vaaa
  • 单击逻辑表实例节点的内部物化节点后,展示该物化节点的基本信息,包括节点名称、节点ID、实例ID和该物化表对应的逻辑表字段数量。fagaga
关于逻辑表实例节点和物化节点的更多信息,请参见页面介绍
除了展开父节点和展开子节点外,逻辑表节点支持的运维操作的详细说明,请参见逻辑表实例支持的运维操作。展开父节点和展开子节点为展开DAG图中Main节点不同层级的依赖节点。gagaga