补数据实例是对周期任务进行补数据时产生的实例,可以对补数据任务实例进行运维管理。例如查看运行状态,对任务实例进行终止、重跑和解冻等操作。

说明 补数据实例的限制与说明如下:
  • 如果是补一个区间的数据任务,在第一天有一个任务实例失败了,则当天的补数据实例会被置为失败,第二天的任务实例也不会开始运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。
  • 自依赖的周期任务补数据,如果补数据第一个实例前一天的周期实例没有运行,则该补数据任务也无法触发运行。如果补数据的第一个实例前一天没有周期实例,则补数据直接触发运行。
  • 目前仅有周期实例在任务失败时有报警。手动实例、补数据实例和测试实例任务失败均无报警。
  • 如果当前任务的周期实例正在运行中,补数据和测试实例必须等周期实例完成才能开始运行。
  • 如果周期实例和补数据实例同时都在运行,为了保证周期实例的正常运行,需要终止补数据实例的运行。

补数据

周期任务列表中,单击相应周期实例后的补数据,选择当前节点当前节点及下游节点海量节点模式
补数据

您可以选择对当前节点进行补数据或者为当前节点及下游节点进行补数据。

完成补数据节点的选择后,填写补数据对话框中的配置,单击确定
是否并行
配置 说明
补数据名称 填写补数据任务的名称。
选择业务日期 选择补数据任务的业务日期。
当前任务 需要进行补数据的节点名称。
是否并行 您可以通过选择是否并行,控制同时生成多少个补数据实例来进行补数据。
  • 选择不并行,只有一个补数据实例。
  • 选择并行,您可以设置同时使用2组3组4组5组等多个补数据实例进行补数据。
说明
  • 不并行:一个补数据实例下的多个业务日期串行执行。
  • 多个补数据实例下的多个业务日期:
    • 如果业务日期的跨度时间少于选择的并行组数,则并行执行。例如业务日期是1月11日~1月13日,并行组数选择的是4组,则只会生成3个补数据实例(每个补数据实例对应一个业务日期),三个实例同时并发执行。
    • 如果业务日期的跨度大于选择的并行组数,则可能兼有串行和并行。例如业务日期是1月11日~1月13日,并行组数选择是2组,则会生成2个补数据实例(其中一个补数据实例会有两个业务日期,这两个业务日期对应的任务串行执行),两个补数据实例并行执行。

为组合节点中的特定节点补数据

您在DataWorks V1.0中使用的工作流,在您升级DataWorks V2.0后会在运维中心自动转换为组合节点。如果您需要为组合节点中的特定节点进行补数据,需遵照以下流程:

  1. 在您的周期任务节点中找到组合节点对应的任务,在DAG图中右键选择查看内部节点。
    特定节点
  2. 在弹框中找到组合节点中您需要补数据的节点的上游节点,复制其节点ID
    复制ID
  3. 回到周期任务页面,搜索您刚刚获取的内部节点ID,右键点击搜索结果的DAG,选择补数据 > 当前节点及下游节点
    搜索
  4. 选择您需要补数据的组合节点内的特定节点。
    选择特定节点
说明 当前支持从组合节点查找到内部节点,但是不支持从内部节点查找到组合节点。

海量补数据

  1. 周期任务列表中,单击相应周期实例后的补数据,选择海量节点模式
    您也可以打开DAG图,右键单击实例名称,选择补数据 > 海量节点模式
    海量节点模式
  2. 填写补数据对话框中的配置。
    补数据
    配置 说明
    补数据名称 通常会根据的您的节点自动生成一个补数据名称。
    选择业务日期 选择您的业务时间,但不能选择当天的时间。
    说明 建议不要补太长时间的数据,以免出现任务需要等待资源的情况。
    是否并行 您可以根据自身情况选择不并行2组3组4组5组。如果选择不并行,只能看见一个补数据实例。如果选择分组,则分几组便可看到几个补数据实例。
    选择需要补数据的节点
    • 如果勾选了包含当前节点,则补的是此节点及下游的数据。
    • 如果没有勾选包含当前节点,则当前节点为空跑,补此节点下的下游数据。
    选择工作空间 通常展示您的所有项目补数据的项目,可以通过刷新选择相关的项目(此处支持模糊查询),然后将其加入补数据项目列表。
    节点白名单 添加选中项目外仍需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。
    节点黑名单 添加选中项目中不需要进行补数据的节点。
    说明 目前仅支持搜索节点ID。

实例列表


实例列表
操作 说明
筛选 如上图中的模块1,有丰富的筛选条件。您可以添加补数据名称、节点类型、责任人、运行日期等条件进行更精确的筛选。
DAG图 可以打开当前节点的DAG图,查看实例运行的结果。
终止运行 如果实例在运行中,可以单击终止运行,停止任务运行。
重跑 重新调度此实例。
重跑下游 重跑当前节点的下游任务。
暂停(冻结) 将当前节点置为暂停(冻结)状态,并停止调度。当节点状态为暂停时,在节点名称后会出现暂停图标。
恢复(解冻) 将暂停(冻结)的节点恢复调度。
查看血缘 查看节点的血缘关系图。

实例DAG图

单击实例名称或操作栏中的DAG图,即可打开该实例的DAG图。您可以在DAG图中,右键单击实例,进行相关操作。
DAG图
说明 右上角的刷新按钮只能刷新实例DAG状态,不能刷新实例的运行日志。
操作 说明
展开父节点/子节点 当一个工作流有3个节点及以上时,运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级,来看到全部节点的内容。
查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。
查看代码 查看当前实例的代码。
编辑节点 单击后,即可跳转至数据开发页面,对当前节点的内容进行修改。
查看血缘 查看当前实例的血缘关系。
终止运行 终止当前实例的运行。
重跑 失败的任务或状态异常的任务重跑实例。
重跑下游 当前节点的下游重跑实例,如果存在多个下游实例,会将这些实例全部重跑。
置成功 修改当前实例的状态为成功。
说明 只有失败状态的任务能被置成功,工作流任务不能置成功。
暂停(冻结) 将当前实例置为暂停(冻结)状态,并停止调度。
恢复(解冻) 恢复暂停(冻结)的节点的调度。

实例状态说明

序号 状态类型 状态标识
1 运行成功状态 运行成功
2 未运行状态 未运行
3 运行失败状态 运行失败
4 正在运行状态 正在运行
5 等待状态 等待
6 冻结状态 冻结