逻辑表实例是逻辑表任务运行生成的实例数据。Dataphin支持查看逻辑表任务运行后生成的实例数据,同时支持对逻辑表实例进行运维管理,包括查看运行日志、重跑实例、查看生产节点和查看节点代码等。本文为介绍对逻辑表实例进行运维操作的方式、支持的运维操作等。
背景信息
逻辑表实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。
规范建模采用动态物化逻辑,因此在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。
逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。
在逻辑表实例页面,支持通过列表区、批量操作区、DAG图及字段及批量操作方式对逻辑表实例及字段进行运维管理。关于逻辑表实例的页面介绍、相关说明,请参见通用功能说明。
运行状态
- 逻辑表实例的运行状态包括逻辑表内所有字段的运行状态。例如
图标,表示该逻辑表的字段有运行成功和未运行的两种状态。
运行状态图标后字段对应的数量为当前逻辑表节点的字段数量;节点对应的数量为当前逻辑表节点的物化节点数量。同时您也可以单击图标,查看每种运行状态对应的字段数量。
- 字段的运行状态由其归属的所有物化节点的运行状态决定,最终展示字段的归一运行状态。具体规则说明如下:
- 字段归属的所有物化节点中只要有一个物化节点的运行状态为成功,则字段归一状态即为成功。
- 字段归属的所有物化节点中只有所有物化节点的运行状态为失败,字段归一状态才为失败。
- 字段归属的所有物化节点中只要有一个物化节点的运行状态为运行中,则字段归一状态为运行中。
- 字段归属的所有物化节点中有部分物化节点的运行状态为等待中,部分物化节点的运行状态为未运行或失败,则字段的归一状态为等待中。
- 字段归属的所有物化节点的运行状态为未运行,则字段的归一状态为未运行。
列表区
批量操作区
在批量操作区执行重跑、终止、置成功继续调度、暂停和恢复操作时,Dataphin会根据字段状态及每种操作对应的限制,自动选中需要操作的字段及其对应的物化节点,无需您手动筛选需要操作的字段及其对应的物化节点,提升了批量运维管理的效率。

- 重跑包括重跑所有失败实例、重跑所有终态实例和强制重跑所有实例,按照下图操作指引执行相应的操作。
操作 描述 限制 重跑所有失败实例 运行状态为失败的节点、逻辑表字段及其连带字段执行重跑操作。 选中实例中,只要包含失败状态节点或逻辑表字段且逻辑表模型未发生过变更均可重跑。 重跑所有终态实例 运行状态为失败或成功的节点、逻辑表字段及其连带字段执行重跑操作。 选中的实例中,只要包含失败或成功状态的节点或逻辑表字段且逻辑表模型未发生过变更均可重跑。 强制重跑所有实例 只要选中实例即可强制重跑所有实例。 除了逻辑表模型发生过变更的逻辑表实例外,其他所有状态的节点或字段均可强制重跑。 - 终止、置成功继续调度、暂停和恢复批量操作的详细说明见下表。
操作 描述 限制 终止 同时终止多个实例节点的运行。 选中的实例节点运行状态,包含运行中或等待中的字段。 置成功继续调度 同时置多个实例节点的运行状态为成功,并继续调度。 选中的实例节点运行状态,包含失败的字段。 暂停 同时暂停多个实例节点的运行。 选中的实例节点运行状态,包含非暂停状态的字段。 恢复 同时恢复多个实例节点为正常调度状态。 选中的实例节点调度状态,包含暂停状态的字段。
字段及批量操作


操作 | 描述 |
---|---|
查看生产链路 | 请参见查看生产链路。 |
查看消费链路 | 请参见查看消费链路。 |
查看物化代码 | 请参见查看物化代码。 |
查看运行日志 | 请参见查看运行日志。 |
重跑 | 重跑当前实例节点及其下游未运行的实例节点。 |
重跑下游 | 请参见重跑下游。 |
终止 | 终止正在运行中或等待中的实例节点。适用于如下场景,但不仅限于此:
|
强制重跑当前实例 | 强制重跑不会校验上游是否全部运行成功以及释放到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。具体操作请参见强制重跑当前实例。 |
强制重跑下游实例 | 强制重跑下游实例的详细说明如下:
|
暂停 | 即将字段的当前调度周期置为暂停调度的状态。
暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。 |
置为成功 | 将运行失败的字段手动置运行成功,继续参与调度。 |
恢复 |
Dataphin仅支持恢复已暂停的字段。被暂停运行的字段恢复后,Dataphin主动检查当前节点是否已经满足运行条件:
|
操作 | 描述 |
---|---|
重跑 | 同时重跑多个字段。选中的多个字段中包含失败或成功状态的字段即可执行重跑操作。 |
重跑下游 | 同时重跑下游多个字段,选中的多个字段中包含成功和失败状态的字段。具体操作请参见重跑下游。 |
终止 | 同时终止多个字段的运行。选中的多个字段中包含运行中或等待中状态的字段即可执行重跑操作。 |
强制重跑 | 同时强制重跑当前多个字段。所有状态的字段均支持强制重跑。具体操作请参见强制重跑当前实例。 |
暂停 | 同时暂停多个字段的运行。选中的字段运行状态,包含非暂停状态的字段。
暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。 |
置为成功 | 同时置多个字段的运行状态为成功,并继续调度。选中的多个字段中包含失败状态的字段。 |
恢复 | 同时恢复多个字段未正常调度状态。选中的多个字段中包含已暂停的字段。 |
DAG图


编号 | 描述 |
---|---|
① | 为您展示逻辑表实例节点及其上下游节点的DAG图,包括如下信息:
|
② | 逻辑表实例节点和物化节点展示的节点信息不同:
|
