补数据实例是对周期任务进行补数据时产生的实例,可以对补数据任务实例进行运维管理。例如查看运行状态,对任务实例进行终止、重跑和解冻等操作。

完成周期任务的开发,将任务提交发布之后,任务会按照调度配置定时运行。如果您希望对历史时间段内的数据进行计算,您可以使用补数据功能。补数据操作生成的补数据实例将按照指定的业务日期运行。

注意 您需要购买DataWorks专业版及以上版本,补数据实例即可支持运行诊断功能,详情请参见 运行诊断

使用限制

  • 如果是补一个区间的数据任务,在第一天有一个任务实例失败了,则当天的补数据实例会被置为失败,第二天的任务实例也不会开始运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。
  • 自依赖的周期任务补数据,如果补数据第一个实例前一天的周期实例没有运行,则该补数据任务也无法触发运行。如果补数据的第一个实例前一天没有周期实例,则补数据直接触发运行。
  • 目前仅周期实例支持在任务失败时产生报警。
  • 如果当前任务的周期实例正在运行中,补数据和测试实例必须等周期实例完成才能开始运行。
  • 如果周期实例和补数据实例同时都在运行,为了保证周期实例的正常运行,需要终止补数据实例的运行。
  • 您可以根据实际需求,选择批量终止补数据实例。但补数据实例无法批量删除。实例在过期后(30天左右)将自动删除。

  • DAG图的功能限制如下:
    • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。
    • DataWorks基础版和标准版用户可以免费试用节点聚合、上游分析、下游分析功能至2021年5月31日,到期后,必须升级DataWorks至专业版才可以继续使用该功能。升级DataWorks版本,详情请参见DataWorks增值版本
    • 当前仅华南1(深圳)地域支持使用DAG图的节点聚合、上游分析、下游分析功能。

补数据

  1. 登录DataWorks控制台
  2. 在左侧导航栏,单击工作空间列表
  3. 单击相应工作空间后的进入数据开发
  4. 单击左上角的图标图标,选择全部产品 > 运维中心
  5. 在左侧导航栏,单击周期任务运维 > 周期任务
  6. 单击页面中间的箭头展开任务列表后,单击相应周期实例后的补数据,选择相应的补数据模式。
    您也可以打开DAG图,右键单击实例名称,鼠标悬停至 补数据,选择相应的补数据模式。 补数据

当前节点补数据

  1. 单击相应实例后的补数据 > 当前节点
  2. 配置补数据对话框中的参数。
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    当前任务 需要进行补数据的节点名称,不可修改。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例,一个补数据实例下的多个业务日期串行执行。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
      即多个补数据实例下有多个业务日期并行执行:
      • 如果业务日期的跨度时间少于选择的并行组数,则并行执行。例如业务日期是1月11日~1月13日,并行组数选择的是4组,则只会生成三个补数据实例(每个补数据实例对应一个业务日期),三个实例同时并发执行。
      • 如果业务日期的跨度大于选择的并行组数,则可能兼有串行和并行。例如业务日期是1月11日~1月13日,并行组数选择是2组,则会生成两个补数据实例(其中一个补数据实例会有两个业务日期,这两个业务日期对应的任务串行执行),两个补数据实例并行执行。
  3. 单击确定

当前节点及下游节点补数据

  1. 单击相应实例后的补数据 > 当前节点及下游节点
  2. 补数据对话框中,配置各项参数,并选择需要补数据的节点
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
    选择需要补数据的节点 您可以根据任务名称任务类型筛选需要补数据的节点并进行选择。
  3. 单击确定

海量补数据

  1. 单击相应实例后的补数据 > 海量节点模式
  2. 补数据对话框中,配置各项参数。补数据
    参数 描述
    补数据名称 通常会根据的您的节点自动生成一个补数据名称,您可以进行修改。
    选择业务日期 选择补数据任务的业务日期。
    说明 建议不要补太长时间的数据,以免出现任务需要等待资源的情况。
    是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据:
    • 选择不并行,只有一个补数据实例。
    • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
    选择需要补数据的节点
    • 如果选择包含当前节点,则补的是当前节点及下游的数据。
    • 如果没有选择包含当前节点,则当前节点为空跑,补当前节点的下游数据。
    选择工作空间 通常展示您的所有项目补数据的项目,可以通过刷新选择相关的项目(此处支持模糊查询),然后将其加入补数据项目列表。
    节点白名单 添加选中项目外仍需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。
    节点黑名单 添加选中项目中不需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。
  3. 单击确定

为组合节点中的特定节点补数据

您在DataWorks V1.0中使用的工作流,在您升级DataWorks V2.0后会在运维中心自动转换为组合节点。如果您需要为组合节点中的特定节点进行补数据,需要进行以下操作:
  1. 运维中心页面,单击左侧导航栏中的周期任务运维 > 周期任务,打开相应任务的DAG图。
  2. 右键单击组合节点,选择查看内部节点查看内部节点
  3. 选择跳转页面中需要补数据的节点的上游节点,单击右下角节点ID后的复制图标。查看ID
  4. 返回周期任务页面,输入获取的内部节点ID进行搜索。
  5. 打开搜索结果的DAG图,右键单击节点名称,选择补数据 > 当前节点及下游节点
  6. 选择您需要补数据的组合节点内的特定节点。选择特定节点
说明 当前支持从组合节点查找到内部节点,但是不支持从内部节点查找组合节点。

实例列表

实例列表
操作 描述
筛选 在上图的模块1区域,您可以通过筛选条件过滤需要查询的实例。

您可以根据节点名称节点ID补数据名称节点类型责任人运行日期业务日期Region引擎类型引擎实例基线我的节点等条件进行精确筛选。

说明 默认筛选的业务日期是当前时间的前一天。
DAG图 可以打开当前节点的DAG图,查看实例运行的结果。
终止运行 仅支持对状态为等待运行运行中的实例进行终止运行操作,进行此操作后,该实例的状态被置为失败
说明

您可以根据实际需求,选择批量终止补数据实例。但补数据实例无法批量删除。实例在过期后(30天左右)将自动删除。

重跑 重新调度此实例。
重跑下游 重跑当前节点的下游任务。
暂停(冻结) 将当前节点置为暂停(冻结)状态,并停止调度。
恢复(解冻) 将暂停(冻结)的节点恢复调度。
查看血缘 查看节点的血缘关系图。

实例DAG图

单击相应任务后的 DAG图,打开该任务的DAG图。您可以在DAG图中进行如下操作: DAG
  • 节点聚合
    当周期实例任务的节点数量或层级过多时,您可以按照任务状态、工作空间、责任人、优先级等维度进行节点任务聚合,查看指定目标维度的节点数量。方便您了解各个维度节点任务的数量,合理分配并执行节点任务。以下示例为您展示,周期任务节点 不聚合按优先级聚合的显示情况。
    • 周期任务节点不聚合时,显示如下图所示。不聚合
    • 周期任务节点按照优先级聚合时,显示如下图所示。您可以快速了解到当前周期任务的子节点共有6个优先级为1的节点任务。按优先级聚合节点任务
  • 上游节点分析
    周期任务通常存在上下游依赖关系,如果目标节点长时间未运行,则您可以对其进行上游节点分析,在DAG图中查看阻塞当前节点运行的上游节点,快速定位并及时处理相关运行报错,提升任务的执行效率。
    说明 仅支持对未运行的节点执行 上游分析操作。
    示例 2_节点任务长时间未运行,则您可以选中该节点,单击左上角的 上游分析 目标节点未运行分析结果得出,导致阻塞当前节点运行的上游节点任务为 数据表同步指标统计,如下图所示。通过该分析结果,您可以快速定位阻塞节点,并及时处理相关报错。 上游分析结果。
  • 下游节点分析
    当周期任务的节点数量或层级过多时,您可以进行下游节点分析,通过任务状态、工作空间、责任人、优先级等维度进行筛选,统计不同层级目标维度的节点数量,或统计所有层级目标维度的节点总数量。
    说明
    • 下游节点默认按照责任人聚合,统计所有层级该维度的节点总数量。
    • 下游分析使用分层展示下游节点分析结果时,最多展示6层。如果您希望展示更多层级,请单击左上角的继续分析
    示例对 tag节点进行 下游分析,结果如下:
    • 使用分层方式,并按照所属工作空间聚合,在不同层级展示不同工作空间的节点数量。分层展示下游分析结果
    • 使用合并方式,并按照所属工作空间聚合,将所有下游节点合并至同一层,展示所属不同工作空间的节点数量。使用合并方式展示下游分析结果
  • 选择DAG图的显示样式。

    您可以根据实际需要,单击DAG图所在界面右上角的功能图标,调整DAG图的显示样式。例如,全屏展示适配屏幕展示等。

    示例对 0_2节点的下游节点,展示 拆分组成组的DAG图。
    • 拆分组的DAG图如下所示。通过该方式,您可以直观的了解到所有节点的上下游关系。未拆分组展示下游节点
    • 成组的DAG图如下所示。通过该方式,以每行呈现5个节点任务,有序的为您展示下游节点,方便您快速获取下游节点的总数量。成组展示下游节点
  • 右键单击目标节点,执行相关操作。 DAG图
    说明 单击右上角的 刷新图标,只能刷新实例的DAG状态,不能刷新实例的运行日志。
    操作 描述
    展开父节点/子节点 当一个业务流程有3个及以上节点时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。
    查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。
    查看代码 查看当前实例的代码。
    编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
    查看血缘 查看当前实例的血缘关系。
    终止运行 仅支持对状态为等待运行运行中的实例进行终止运行操作,进行此操作后,该实例的状态被置为失败
    重跑 失败的任务或状态异常的任务重跑实例。
    重跑下游 当前节点的下游重跑实例,如果存在多个下游实例,会将这些实例全部重跑。
    置成功 修改当前实例的状态为成功,并运行下游未运行状态的任务。常用于处理出错节点。
    说明 仅支持置成功状态为 失败的任务,不能置成功业务流程。
    紧急操作 当前实例在非常紧急的情况下的操作,紧急操作只对当前节点本次有效。

    选择去除依赖,即可解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,启动此节点。

    暂停(冻结) 将当前实例置为暂停(冻结)状态,并停止调度。
    恢复(解冻) 恢复暂停(冻结)的节点的调度。

实例状态说明

序号 状态类型 状态标识
1 运行成功状态 1
2 未运行状态 2
3 运行失败状态 3
4 正在运行状态 4
5 等待状态 5
6 冻结状态 6