补数据实例

使用限制

• 如果是补一个区间的数据任务，在第一天有一个任务实例失败了，则当天的补数据实例会被置为失败，第二天的任务实例也不会开始运行（只有当天的全部任务实例都成功，第二天的任务实例才会开始运行）。
• 自依赖的周期任务补数据，如果补数据第一个实例前一天的周期实例没有运行，则该补数据任务也无法触发运行。如果补数据的第一个实例前一天没有周期实例，则补数据直接触发运行。
• 目前仅周期实例支持在任务失败时产生报警。
• 如果当前任务的周期实例正在运行中，补数据和测试实例必须等周期实例完成才能开始运行。
• 如果周期实例和补数据实例同时都在运行，为了保证周期实例的正常运行，需要终止补数据实例的运行。

• 您可以根据实际需求，选择批量终止补数据实例。但补数据实例无法批量删除。实例在过期后（30天左右）将自动删除。

• DAG图的功能限制如下：

  • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。
  • DataWorks基础版和标准版用户可以免费试用节点聚合、上游分析、下游分析功能至2021年5月31日，到期后，必须升级DataWorks至专业版才可以继续使用该功能。升级DataWorks版本，详情请参见DataWorks增值版本。
  • 当前仅华南1（深圳）地域支持使用DAG图的节点聚合、上游分析、下游分析功能。

补数据

1. 登录DataWorks控制台。
2. 在左侧导航栏，单击工作空间列表。
3. 单击相应工作空间后的进入数据开发。
4. 单击左上角的图标，选择全部产品 > 运维中心。
5. 在左侧导航栏，单击周期任务运维 > 周期任务。
6. 单击页面中间的箭头展开任务列表后，单击相应周期实例后的补数据，选择相应的补数据模式。
   您也可以打开DAG图，右键单击实例名称，鼠标悬停至补数据，选择相应的补数据模式。

当前节点补数据

1. 单击相应实例后的补数据 > 当前节点。
2. 配置补数据对话框中的参数。

   参数	描述
   补数据名称	通常会根据的您的节点自动生成一个补数据名称，您可以进行修改。
   选择业务日期	选择补数据任务的业务日期。
   当前任务	需要进行补数据的节点名称，不可修改。
   是否并行	您可以通过选择是否并行，控制同时生成多少个补数据实例来进行补数据： 选择不并行，只有一个补数据实例，一个补数据实例下的多个业务日期串行执行。 选择并行，您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据。 即多个补数据实例下有多个业务日期并行执行： 如果业务日期的跨度时间少于选择的并行组数，则并行执行。例如业务日期是1月11日~1月13日，并行组数选择的是4组，则只会生成三个补数据实例（每个补数据实例对应一个业务日期），三个实例同时并发执行。 如果业务日期的跨度大于选择的并行组数，则可能兼有串行和并行。例如业务日期是1月11日~1月13日，并行组数选择是2组，则会生成两个补数据实例（其中一个补数据实例会有两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。

3. 单击确定。

当前节点及下游节点补数据

1. 单击相应实例后的补数据 > 当前节点及下游节点。
2. 在补数据对话框中，配置各项参数，并选择需要补数据的节点。

   参数	描述
   补数据名称	通常会根据的您的节点自动生成一个补数据名称，您可以进行修改。
   选择业务日期	选择补数据任务的业务日期。
   是否并行	您可以通过选择是否并行，控制同时生成多少个补数据实例来进行补数据： 选择不并行，只有一个补数据实例。 选择并行，您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据。
   选择需要补数据的节点	您可以根据任务名称、任务类型筛选需要补数据的节点并进行选择。

3. 单击确定。

海量补数据

1. 单击相应实例后的补数据 > 海量节点模式。
2. 在补数据对话框中，配置各项参数。

   参数	描述
   补数据名称	通常会根据的您的节点自动生成一个补数据名称，您可以进行修改。
   选择业务日期	选择补数据任务的业务日期。 说明 建议不要补太长时间的数据，以免出现任务需要等待资源的情况。
   是否并行	您可以通过选择是否并行，控制同时生成多少个补数据实例来进行补数据： 选择不并行，只有一个补数据实例。 选择并行，您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据。
   选择需要补数据的节点	如果选择包含当前节点，则补的是当前节点及下游的数据。 如果没有选择包含当前节点，则当前节点为空跑，补当前节点的下游数据。
   选择工作空间	通常展示您的所有项目和补数据的项目，可以通过刷新选择相关的项目（此处支持模糊查询），然后将其加入补数据项目列表。
   节点白名单	添加选中项目外仍需要进行补数据的节点。 说明 目前仅支持搜索节点ID。
   节点黑名单	添加选中项目中不需要进行补数据的节点。 说明 目前仅支持搜索节点ID。

3. 单击确定。

为组合节点中的特定节点补数据

实例列表

实例DAG图

单击相应任务后的DAG图，打开该任务的DAG图。您可以在DAG图中进行如下操作：

• 节点聚合
  当周期实例任务的节点数量或层级过多时，您可以按照任务状态、工作空间、责任人、优先级等维度进行节点任务聚合，查看指定目标维度的节点数量。方便您了解各个维度节点任务的数量，合理分配并执行节点任务。以下示例为您展示，周期任务节点不聚合及按优先级聚合的显示情况。

  • 周期任务节点不聚合时，显示如下图所示。
  • 周期任务节点按照优先级聚合时，显示如下图所示。您可以快速了解到当前周期任务的子节点共有6个优先级为1的节点任务。
• 上游节点分析
  周期任务通常存在上下游依赖关系，如果目标节点长时间未运行，则您可以对其进行上游节点分析，在DAG图中查看阻塞当前节点运行的上游节点，快速定位并及时处理相关运行报错，提升任务的执行效率。

  说明 仅支持对未运行的节点执行上游分析操作。

  示例2_节点任务长时间未运行，则您可以选中该节点，单击左上角的上游分析分析结果得出，导致阻塞当前节点运行的上游节点任务为数据表同步及指标统计，如下图所示。通过该分析结果，您可以快速定位阻塞节点，并及时处理相关报错。
• 下游节点分析
  当周期任务的节点数量或层级过多时，您可以进行下游节点分析，通过任务状态、工作空间、责任人、优先级等维度进行筛选，统计不同层级目标维度的节点数量，或统计所有层级目标维度的节点总数量。

  说明

  • 下游节点默认按照责任人聚合，统计所有层级该维度的节点总数量。
  • 下游分析使用分层展示下游节点分析结果时，最多展示6层。如果您希望展示更多层级，请单击左上角的继续分析。
  示例对tag节点进行下游分析，结果如下：

  • 使用分层方式，并按照所属工作空间聚合，在不同层级展示不同工作空间的节点数量。
  • 使用合并方式，并按照所属工作空间聚合，将所有下游节点合并至同一层，展示所属不同工作空间的节点数量。
• 选择DAG图的显示样式。

  您可以根据实际需要，单击DAG图所在界面右上角的功能图标，调整DAG图的显示样式。例如，全屏展示、适配屏幕展示等。

  示例对0_2节点的下游节点，展示拆分组及成组的DAG图。

  • 拆分组的DAG图如下所示。通过该方式，您可以直观的了解到所有节点的上下游关系。
  • 成组的DAG图如下所示。通过该方式，以每行呈现5个节点任务，有序的为您展示下游节点，方便您快速获取下游节点的总数量。
• 右键单击目标节点，执行相关操作。

  说明 单击右上角的刷新图标，只能刷新实例的DAG状态，不能刷新实例的运行日志。

  操作	描述
  展开父节点/子节点	当一个业务流程有3个及以上节点时，运维中心展示任务时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。
  查看运行日志	查看当前实例正在运行、成功、失败等状态的运行日志。
  查看代码	查看当前实例的代码。
  编辑节点	单击后，即可跳转至数据开发页面，对当前节点的内容进行修改。
  查看血缘	查看当前实例的血缘关系。
  终止运行	仅支持对状态为等待运行和运行中的实例进行终止运行操作，进行此操作后，该实例的状态被置为失败。
  重跑	失败的任务或状态异常的任务重跑实例。
  重跑下游	当前节点的下游重跑实例，如果存在多个下游实例，会将这些实例全部重跑。
  置成功	修改当前实例的状态为成功，并运行下游未运行状态的任务。常用于处理出错节点。 说明 仅支持置成功状态为失败的任务，不能置成功业务流程。
  紧急操作	当前实例在非常紧急的情况下的操作，紧急操作只对当前节点本次有效。 选择去除依赖，即可解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时，启动此节点。
  暂停（冻结）	将当前实例置为暂停（冻结）状态，并停止调度。
  恢复（解冻）	恢复暂停（冻结）的节点的调度。

实例状态说明

序号	状态类型	状态标识
1	运行成功状态
2	未运行状态
3	运行失败状态
4	正在运行状态
5	等待状态
6	冻结状态