归并节点

更新时间:2025-02-20 10:26:13

本文为您介绍归并节点的概念,以及如何新建归并节点、定义归并逻辑,并通过实践案例为您展示归并节点的调度配置和运行详情。

节点介绍

  • 归并节点是Data Studio中提供的逻辑控制系列节点中的一类,可以对上游节点的运行状态进行归并,用于解决分支节点下游节点的依赖挂载和运行触发问题。

  • 目前归并节点的逻辑定义不支持选择节点运行状态,仅支持将分支节点的多个下游节点归并为运行成功的状态,以便下游节点能够直接挂载归并节点作为依赖。

    例如,分支节点C定义了两个逻辑互斥的分支走向C1C2,不同分支使用不同的逻辑写入同一张MaxCompute表,如果下游节点B依赖此MaxCompute表的产出,则必须使用归并节点J先将分支归并后,再把归并节点J作为B的上游依赖。如果直接把B挂载在C1、C2下,任何时刻,C1C2总有一个会因分支条件不满足,而显示实例状态为分支未被选中,而B也会因为上游有未被选中跳过运行的节点,实际也会是分支未被选中,空跑跳过的状态,节点并没有实际运行,所有下游节点均会如此。

前提条件

  • RAM账号添加至对应空间(可选)。

    进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员

  • 对应空间已绑定Serverless资源组。详情请参见:使用Serverless资源组

  • 进行归并节点开发前,需创建对应的归并节点,详情请参见:创建任务节点

注意事项

DataWorks标准版及以上版本,才可使用归并节点功能。购买或升级DataWorks相应版本,详情请参见DataWorks各版本详解

步骤一:开发归并节点

新建归并节点后,需进入归并节点编辑页面定义归并逻辑,归并逻辑定义配置详情如下:

  1. 在归并逻辑定义处对需要进行归并的节点进行搜索并添加,可通过节点输出、节点ID、节点名称三种方式进行搜索分支节点。

  2. 搜索到需要归并的节点后,单击image标按将节点,添加至归并条件设置。

    说明

    当需要归并多个分支节点时,您需多次重复执行添加操作。

  3. 归并条件设置区域,配置分支节点的归并条件。

    • 归并逻辑条件包括:

      • :上游所有分支节点均需处于终态(即运行完成),并且均满足其设置的运行状态时,执行结果设置区域设置的本节点运行状态才会生效。

      • :上游所有节点均需处于终态(即运行完成),并且任意分支节点满足其设置的运行状态时,执行结果设置区域设置的本节点运行状态才会生效。

    • 节点运行完成后的状态包括:

      • 成功:节点运行成功。

      • 失败:节点运行失败。

      • 分支未运行:节点未运行。

  4. 执行结果设置区域,设置本节点的运行状态。

    说明

    当前仅支持设置本节点的运行状态为成功

    image

    以上图为例:

    • 添加节点分支1分支2为当前归并节点的上游节点。

    • 节点分支1的运行状态设置为成功分支未运行失败,即节点分支1运行完成即可。

    • 节点分支2的运行状态设置为成功分支未运行,即节点分支2运行完成且节点B运行未失败。

    • 归并逻辑条件设置为

    当节点分支1运行完成,并且分支2运行完成且不失败,当前归并节点的成功运行状态才会生效。

  5. 完成归并节点开发后,单击节点编辑页面右侧的调度配置,即可设置归并节点的调度属性,详情请参见调度配置

步骤二:节点发布与运维

  1. 完成调度配置后,即可对已完成的归并节点提交发布至生产环境,详情请参见:节点/工作流发布

  2. 发布完成的任务,将按照您配置的调度进行周期运行,可在运维中心 > 任务运维 > 周期任务运维 > 周期任务中查看已发布的周期任务,并对任务进行运维操作,详情请参见:运维中心入门

  • 本页导读 (1)
  • 节点介绍
  • 前提条件
  • 注意事项
  • 步骤一:开发归并节点
  • 步骤二:节点发布与运维
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等