在运维中心,周期任务会按照调度配置定时运行。如果需要对历史时间段内的数据进行计算,您可以使用补数据功能。补数据操作生成的补数据实例将按照指定的业务日期运行。系统支持对补数据实例进行运维管理,包括查看运行日志、重跑等操作。本文为您介绍补数据实例的通用功能。

补数据实例包括通用实例和萃取实例。对脚本任务和逻辑表任务进行补数据、对萃取任务进行通用补数据均会生成通用实例。对萃取任务进行萃取补数据会生成萃取实例。

实例状态

系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据实例的运行状态,根据所有业务日期的归一状态判断,判断逻辑如下表。
判断顺序 归一状态 判断逻辑
1 未运行 所有实例状态均为未运行,则补数据实例的状态为未运行。
2 运行中 有等待中、运行中状态的实例,则补数据实例的状态为运行中。
3 失败 没有等待中、运行中状态的实例,只要有一个失败状态实例,则补数据实例的状态即为失败。
4 成功 所有实例的状态均为成功,则补数据实例的状态即为成功。

核心概念

核心概念 释义
重跑 仅对当前节点操作,仅运行成功和运行失败的节点可以重跑,适用于只需要对单个节点进行操作的场景,例如:
  • 异常原因导致当前节点运行失败,下游全部未运行,需要重跑当前节点。
  • 仅需要对当前节点进行数据刷新,下游数据无需变更。
  • 需要进行重跑的节点为末节点。
重跑下游 对当前和下游运行成功或运行失败的节点进行操作,适用于需要进行全链路数据刷新或恢复的场景,例如:
  • 当前节点数据更新,下游已经全部运行完成(如重跑3天前的实例)。
  • 当前节点数据错误,下一层节点全部失败或未运行,需要当前及下游失败的节点进行重跑。
  • 当前节点的下几层均有运行失败的节点,希望按照依赖关系一次性选中重跑。
强制重跑 所有运行状态的节点均可操作,适用于当前节点不满足运行条件(上游全部运行成功、到达当前实例的定时调度时间),或系统问题导致满足运行条件仍未正常起调(低频)的场景,例如:
  • 未到达起调时间,需要提前运行。
  • 上游未全部成功,但是不依赖上游产出的数据,希望当前节点运行起来。
  • 系统问题:已满足起调条件,未正常运行(常见于逻辑表下游)。
暂停实例 只暂停当前实例,不影响这个任务对应的其他实例。
注意 如果需要暂停的任务已下发到计算引擎,则无法暂停运行。
终止 终止实例的运行,适用于任务代码有问题或任务不需要继续运行的场景,以预防数据污染。
置成功继续调度 将运行失败的实例手动置为成功的状态。适用于运行出错影响下游任务起调,但是这个实例可能对下游数据的影响在可接受范围内,先置为成功调过保证下游任务能顺利起调;或有告警的场景下,不希望继续接收到告警,先置为成功。
恢复 恢复已暂停的实例,恢复后实例就可以参与正常的调度。

补数据实例支持的操作

操作 描述 限制 影响
查看DAG图 进入补数据实例的DAG图页面,查看补数据节点及其依赖节点间。
查看运行日志 进入运行日志页面,查看实例节点运行的日志。
重跑 重跑当前实例节点及其下游未运行的实例节点。 系统仅支持重跑运行状态为成功和失败的实例。 重跑后,当前实例节点及下游实例节点数据更新。
查看节点代码 进入代码详情页,查看实例的节点代码。
查看物化代码 查看该逻辑表实例的物化代码。fagaga

在查看物化代码页面,您可以选择切换(在区域①切换)逻辑表所有的物化节点,查看物化代码。同时,您也可以将鼠标悬停至物化节点后的test图标,查看物化节点的字段。

查看周期任务 进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。
查看生产节点 查看Prod项目中生成当前实例节点的任务配置。 Prod项目中该任务存在。
编辑开发节点 进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。 Dev项目中该任务存在。 编辑开发节点后,需要提交并发布后,生产节点的数据才会更新。
编辑节点 进入生成当前实例节点的任务编辑页面,编辑计算任务或集成任务。仅适用于Basic模式。 Basic项目中该任务存在。 编辑开发节点后,需要提交后,生产节点的数据才会更新。
编辑标签 进入当前标签的编辑页面,编辑标签,详情请参见创建标签 Data_distill项目中当前标签存在。 编辑标签后,需要提交成功后,对应调度节点的数据才会更新。
编辑行为规则 进入当前行为规则的编辑页面,编辑行为规则,详情请参见创建并配置行为规则 Data_distill项目中当前行为规则存在。 编辑行为规则后,需要提交成功后,对应调度节点的数据才会更新。
重跑下游 重跑当前实例节点的下游节点。适用于如下场景,但不仅限于此:
  • 当前实例节点的数据已更新,需要同步更新下游节点数据。
  • 实例节点的下游节点运行失败。
系统仅支持重跑运行状态为成功和失败的实例节点的下游节点。 重跑下游后,下游实例节点数据更新。
置成功继续调度 将运行失败的实例节点手动置运行成功,继续参与调度。 系统仅支持置成功继续调度运行状态为失败的实例节点。
终止 终止正在运行中或等待中的实例节点。适用于如下场景,但不仅限于此:
  • 由于系统异常或操作失误,需要终止实例运行。
  • 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。
系统仅支持终止运行状态为运行中和等待中的实例节点。 当前实例节点终止运行后,该节点的下游节点也不会运行。

终止后,实例的状态变更为失败。

强制重跑 强制重跑当前节点。适用于如下场景,但不仅限于此:
  • 查看实例的运行日志,发现某些数据运行错误。
  • 上游节点未运行,但需要重跑该节点。
系统支持强制重跑运行状态为成功、失败、运行中、等待中和未运行的实例节点。 强制重跑实例节点,如果该节点运行成功后,则下游实例节点随之也运行。
去除上游依赖 去除某个实例节点的上游节点,仅实例节点当前调度周期生效。 系统仅支持去除运行状态为成功、失败、运行中、等待中和未运行实例节点的上游依赖。 去除上游依赖后,可以直接运行当前实例节点。
暂停 即将实例节点的当前调度周期置为暂停调度的状态。

暂停实例即暂停实例的当前调度周期,不影响该实例其他调度周期。

系统仅支持暂停非暂停状态的实例节点。 暂停后,当前实例节点及下游依赖实例节点均不调度。
恢复 即可将当前节点置为正常调度的状态。 系统仅支持恢复已暂停的实例节点。 恢复后,当前实例节点及下游依赖实例节点正常调度。

页面介绍

请参见入口介绍,进入补数据实例页面。补数据实例页面以列表和DAG图的方式,为您展示系统已生成的补数据实例。列表为您展示补数据实例支持的运维管理操作,包括快速补数据实例的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
  • 补数据实例列表

    补数据实例列表页面展示实例对象、运行状态、业务日期、开始运行时间、结束运行时间、运行时长、优先级、责任人及支持的操作。

    taga
    操作 描述
    筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的实例。
    筛选项包括:
    • 失败实例:运行失败的实例。
    • 未完成实例:未完成运行的实例。
    • 开始运行日期:系统默认展示今天开始运行的实例,支持快捷选择今天、昨天和全部。您也可以选择具体的时间段。
    • 业务日期:默认展示全部的实例数据,支持快捷选择今天、昨天和全部。您可以手动选择业务日期。
    • 运行状态:实例的运行状态,包括成功、失败、运行中和未运行。
    • 负责人:运维对象的负责人。

    如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    DAG图 单击操作列下的test图标或单击实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
    • 单击tegtwe图标,隐藏补数据实例列表,放大DAG图。
    • 单击geg图标,隐藏DAG图。
    • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。
    单节点运维 上图②区域,支持针对单节点进行运维管理。
    批量节点运维 上图③区域,支持批量选中多个节点进行运维管理。
  • 补数据实例DAG图tata
    编号 描述
    展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、运行日志、操作日志和节点代码(或物化代码)。
    说明 逻辑表实例节点支持查看物化代码。脚本实例和萃取实例支持查看节点代码。
    展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

    针对跨项目的节点,系统仅支持展开父子节点和查看运行日志。您需要进入对应项目执行更多运维操作。

    快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
    快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。

    同时,展示当前DAG图中Main节点的节点ID和节点名称。