逻辑表实例是Dataphin规范建模创建的逻辑表任务参与系统调度运维后生成的实例,支持的字段视角运维功能,本文为您介绍逻辑运维的背景及操作。

请参见入口介绍,进入逻辑表实例页面。

脚本实例的相关说明,请参见通用功能说明gfaga系统支持逻辑表实例的运行状态呈对半展示。例如test图标,表示该逻辑表的字段有运行成功和未运行的两种状态。您可以单击test图标,查看具体字段的运行状态详情。

运行状态图标后的字段为当前逻辑表节点的字段数量,节点为当前逻辑表节点的物化节点数量。

背景信息

逻辑表实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。

规范建模采用动态物化逻辑,因此在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

说明 Data_disill项目不支持查看逻辑表实例。

列表区

操作 描述 限制 影响
查看运行日志 查看实例运行的日志。
重跑 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑字段,系统自动计算连带重跑的字段。
在逻辑表详情页面,仅限重跑操作。执行完重跑后页面刷新,支持继续依据字段状态执行对应的运维操作。gaga仅选中的所有字段满足重跑条件时,才可以执行批量重跑操作。

例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。

系统仅支持重跑成功和失败状态的实例。 重跑后,当前实例节点及下游实例节点数据更新。
字段及批量操作 在逻辑表详情页面,支持单字段和批量字段运维操作:
  • 单字段运维操作包括查看生产链路、查看运行日志、查看物化代码、查看消费链路、重跑、重跑下游、终止、暂停、置为成功和恢复。
  • 批量字段运维操作包括重跑、重跑下游、终止、暂停、置为成功和恢复。
详情请参见字段及批量操作

在逻辑表详情页面,您可以对满足操作条件的字段执行相应的操作。

批量操作时,选中的所有字段都需要满足操作条件。

字段的运行状态需要满足相应操作条件。
查看生产链路 查看逻辑表实例中字段的物化链路及物化节点的字段组。test
  • 上图区域①,展示当前逻辑表实例节点的字段。您可以选择不同的字段,页面右侧生产链路的信息也随之改变。
  • 上图区域②,展示当前选中字段的物化链路。
  • 上图区域③,展示物化节点的所有字段。
  • 上图区域④,展示当前逻辑表节点的物化节点。

    如果逻辑表节点有多个物化节点,则单击物化节点信息展示区域(④),切换查看不同的物化节点信息。

查看消费链路 查看逻辑表实例节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。tata
  • 上图区域①,展示当前逻辑表实例节点的字段。您可以选择不同的字段,页面右侧消费链路的信息也随之改变。
  • 上图区域②,展示选中字段的消费链路。同时,您可以单击引用该字段的节点,查看节点信息。tagta您也可以单击查看节点详情,查看该节点的节点详情、运行日志、操作日志和节点代码(物化代码)。
该逻辑表任务节点的字段已有消费链路。
查看物化代码 查看该逻辑表实例的物化代码。fagaga

在查看物化代码页面,您可以选择切换(在区域①切换)逻辑表所有的物化节点,查看物化代码。同时,您也可以将鼠标悬停至物化节点后的test图标,查看物化节点的字段。

查看任务 查看逻辑表实例对应的逻辑表任务。
查看生产节点 进入Prod项目中,查看该任务配置。 Prod项目中该任务存在。
编辑开发节点 进入Dev项目下该任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。 Dev项目中该任务存在。 编辑开发节点后,需要提交并发布后,生产节点的数据才会更新。
编辑节点 编辑某个节点对应的逻辑表任务,仅适用于Basic模式。 Basic项目中该任务存在。 提交成功后,对应的调度节点才会更新。
重跑下游 重跑当前实例节点的下游节点。适用于如下场景,但不仅限于此:
  • 当前实例节点的数据更新了,需要同步更新下游节点数据。
  • 实例下游节点运行失败了,可以重跑下游节点。
在逻辑表详情页面,重跑某个字段的下游节点或批量重跑字段的下游节点。系统自动计算下游节点及连带重跑的字段,鼠标悬停至节点名后的test图标,查看连带和必选字段。

在逻辑表详情页面,仅限重跑下游操作。执行完重跑下游后页面刷新,支持继续依据字段状态执行对应的运维操作。

taga
系统仅支持重跑成功和失败状态实例的下游节点。 重跑下游后,下游实例节点数据更新。
终止 终止正在运行中或等待中的实例,终止后实例的状态变更为失败。适用于如下场景,但不仅限于此:
  • 由于系统异常或操作失误,需要终止实例运行。
  • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

在逻辑表详情页面,仅限终止操作。执行完终止后页面刷新,支持继续依据字段状态执行对应的运维操作。

系统仅支持终止运行中或等待中状态的实例。 当前实例节点终止运行后,该节点的下游节点也不会运行。
置成功继续调度 将运行失败的实例节点手动置运行成功,继续参与调度。

在逻辑表详情页面,仅限置成功继续调度操作。执行完置成功继续调度后页面刷新,支持继续依据字段状态执行对应的运维操作。

系统仅支持置成功继续调度失败的实例。
暂停 暂停实例节点当前周期的调度。

在逻辑表详情页面,仅限暂停操作。执行完暂停后页面刷新,支持继续依据字段状态执行对应的运维操作。

说明 暂停非实例的运行状态。暂停实例即暂停实例当前的运行,不影响该实例其他周期的运行。
系统仅支持暂停非暂停状态的实例节点。 暂停后,实例节点及下游依赖实例节点均不调度。
恢复 恢复实例节点为正常调度状态。

在逻辑表详情页面,仅限恢复操作。执行完恢复后页面刷新,支持继续依据字段状态执行对应的运维操作。

系统仅支持恢复已暂停的实例节点。 恢复后,当前实例节点及下游依赖实例节点正常调度。

批量操作区

操作 描述 限制 影响
暂停 同时暂停多个实例节点的运行。

暂停实例即暂停实例的当前调度周期,不影响该实例其他调度周期。

选中的实例节点运行状态,均为非暂停状态的实例节点。 暂停后,当前实例节点及下游依赖实例节点均不调度。
重跑 同时重跑多个实例节点。 选中的实例节点运行状态,均为成功和失败状态的实例。 重跑后,下游实例节点数据更新。
终止 同时终止多个实例节点的运行。 选中的实例节点运行状态,均为运行中或等待中的实例。 终止后,当前实例节点终止运行后,该节点的下游节点也不会运行。
恢复 同时恢复多个实例节点为正常调度状态。 选中的实例节点运行状态,均为暂停状态的实例节点。 恢复后,当前任务节点正常生产调度实例。
置成功继续调度 同时置多个实例节点的运行状态为成功,并继续调度。 选中的实例节点运行状态,均为失败的实例节点。

字段及批量操作

如果通过字段及批量操作入口,进入逻辑表详情页面,则支持依据字段状态执行对应的运维操作。如果通过某个具体的操作入口,进入逻辑表详情页面,则仅支持执行对应的操作。执行完成后页面刷新,可以继续依据字段状态执行对应的运维操作。

例如,通过重跑操作入口,进入逻辑表详情页面,则仅支持重跑操作。执行完重跑操作后,即可依据字段状态执行其他的运维操作,例如,查看生产链路。

字段及批量操作以列表和链路图的方式展示。列表页面,支持查看逻辑表实例节点的基本信息、字段信息、支持对单字段和多字段进行运维管理、查看字段的生产链路和消费链路。链路图页面支持查看字段的生产和消费链路、支持对多字段进行批量运维管理。
  • 列表页faga
    表 1. 列表页面说明
    编号 说明
    展示逻辑表实例节点的基本信息,包括实例生成的业务日期、调度周期、负责对人、最新更新时间、所属项目。
    如果逻辑表实例节点的字段比较多,则通过区域②进行筛选:
    • 在快速输入框中输入字段名称的关键字搜索。
    • 在运行状态的下拉列表中,选择运行状态进行筛选。
    支持针对单字段进行运维管理。详情请参见表 2
    展示逻辑表实例节点字段的运行详情,包括字段名称、运行状态、字段类型、开始运行时间、结束运行时间、运行时长。
    支持选中多个节点(或快捷本页全选)进行运维管理,包括批量重跑、重跑下游、终止、暂停、置为成功和恢复操作。详情请参见表 3
    表 2. 单字段运维操作
    操作 描述
    查看生产链路 查看逻辑表实例中字段的物化链路及物化节点的字段组。详情参见列表区
    查看消费链路 查看逻辑表实例节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。详情请参见列表区
    查看物化代码 查看该逻辑表实例的物化代码。详情请参见列表区
    查看运行日志 查看逻辑表字段的运行日志。
    重跑 重跑当前实例节点及其下游未运行的实例节点。
    重跑下游 重跑当前字段的下游节点。适用于如下场景,但不仅限于此:
    • 当前实例节点的数据已更新,需要同步更新下游节点数据。
    • 实例节点的下游节点运行失败。
    终止 终止正在运行中或等待中的实例节点。适用于如下场景,但不仅限于此:
    • 由于系统异常或操作失误,需要终止实例运行。
    • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。
    暂停 即将字段的当前调度周期置为暂停调度的状态。

    暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

    置为成功 将运行失败的字段手动置运行成功,继续参与调度。
    恢复 即可将当前节点置为正常调度的状态。
    表 3. 多字段批量运维操作
    操作 描述
    重跑 同时重跑多个字段。
    重跑下游 同时重跑多个字段的运行。
    终止 同时终止多个字段的运行。
    暂停 同时暂停多个字段的运行。

    暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。

    置为成功 同时置多个字段的运行状态为成功,并继续调度。
    恢复 同时恢复多个字段未正常调度状态。
    说明 字段的批量运维操作与实例节点的批量运维操作的限制一致,详情请参见批量操作区
  • 链路图sgag
    编号 描述
    展示逻辑表实例节点的基本信息,包括实例生成的业务日期、调度周期、负责对人、最新更新时间、所属项目。
    如果逻辑表实例节点的字段比较多,则通过区域②进行筛选:
    • 在快速输入框中输入字段名称的关键字搜索。
    • 在运行状态的下拉列表中,选择运行状态进行筛选。
    展示逻辑表实例节点的字段。

    同时,您也可以对多字段进行批量运维管理。选中多个节点后,单击页面下方选择操作后的gagaga图标,选择批量操作。批量操作的更多信息,请参见表 3

    默认展示选中字段的生产链路,您可以单击消费链路页签,查看字段的消费链路,详情请参见列表区

    您可以打开阻碍节点模式开关。开启后,快速定位阻碍当前节点运行的上游节点。

DAG图

DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示main节点和其上下游节点。

faga
编号 描述
逻辑表实例节点和物化节点展示的节点信息不同:
  • 单击逻辑表实例节点后,展示逻辑表任务节点详情,包括逻辑表名、运行状态、运行时长、所在项目、运行时间和字段数量。vaaa
  • 单击逻辑表任务节点的内部物化节点后,展示该物化节点的基本信息,包括节点名称、节点ID、实例ID和该物化表对应的逻辑表字段数量。fagaga

节点详情,请参见页面介绍

为您展示逻辑表任务节点及其上下游节点的DAG图,包括如下信息:
  • 逻辑表实例节点框内,展示该逻辑表实例节点的字段和物化节点数量。
  • 鼠标悬停至逻辑表实例节点框内,右键单击或单击gagaga图标后,选择展开物化节点,展开该逻辑表对应的内部物化节点。gfaag
    鼠标悬停至物化节点显示框内,右键单击或单击gagaga图标后,可以查看该物化节点的节点代码、物化节点字段和运行日志。VBV
鼠标悬停至逻辑表实例节点显示框内,右键单击或gege图标,进行相关操作:
  • 如果上、下游节点是逻辑表实例,系统支持的操作和main节点一致。main节点支持的操作,详情请参见表 4
  • 如果上游是系统根节点,则系统仅支持展开父子节点和查看运行日志。
  • 如果上、下游是脚本任务节点,则系统支持的操作与脚本任务DAG图的main节点支持的操作一致,详情请参见脚本实例
表 4. 逻辑表节点支持的操作
操作 说明
展开父节点 展开DAG图中main节点不同层级的依赖节点。
展开子节点
查看任务 进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。
收起或展开物化节点 收起或展开当前逻辑表实例节点的物化节点。
查看物化代码 查看该逻辑表实例的物化代码。fagaga

在查看物化代码页面,您可以选择切换(在区域①切换)逻辑表所有的物化节点,查看物化代码。同时,您也可以将鼠标悬停至物化节点后的test图标,查看物化节点的字段。

查看运行日志 查看逻辑表实例节点的运行日志。
编辑开发节点 进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。
编辑节点 进入Dev项目下该任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。
查看生产节点 进入Prod项目中,查看该任务配置。
查看操作日志 查看逻辑表实例节点的操作日志。
字段及批量操作 进入逻辑表详情页面,支持从字段视角进行运维管理,详情请参见字段及批量操作
查看生产链路 查看逻辑表实例物化的链路及物化节点的字段组,详情请参见列表区
查看消费链路 查看逻辑表任务节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。详情请参见列表区
重跑 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑某个字段,系统自动计算连带重跑的字段。

在逻辑表详情页面,仅限重跑操作。执行重跑后页面刷新,支持继续依据字段状态执行对应的运维操作。

例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。

重跑下游 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑字段,系统自动计算连带重跑的字段。
在逻辑表详情页面,仅限重跑下游操作。执行重跑下游后页面刷新,支持继续依据字段状态执行对应的运维操作。gaga

例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。

终止 终止正在运行中或等待中的实例,终止后实例的状态变更为失败。适用于如下场景,但不仅限于此:
  • 由于系统异常或操作失误,需要终止实例运行。
  • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

在逻辑表详情页面,仅限终止操作。执行终止后页面刷新,支持继续依据字段状态执行对应的运维操作。

置成功继续调度 将运行失败的实例节点手动置运行成功,继续参与调度。

在逻辑表详情页面,仅限置成功继续调度操作。执行置成功继续调度后页面刷新,支持继续依据字段状态执行对应的运维操作。

暂停 暂停实例节点当前周期的调度。

在逻辑表详情页面,仅限暂停操作。执行暂停后页面刷新,支持继续依据字段状态执行对应的运维操作。

说明 暂停实例即暂停实例当前的运行,不影响该实例其他周期的运行。
恢复 恢复暂停实例节点为正常调度状态。