do-while节点逻辑原理介绍

背景信息

使用限制

• 仅DataWorks标准版及以上版本支持使用do-while节点。详情请参见DataWorks各版本详解。
• do-while节点循环次数上限为128次。
• 不支持并发执行。即上次循环完成后才可进入下一次循环。

注意事项

节点组成与流程编排

DataWorks的do-while节点是包含内部节点的一种特殊节点，您在创建完成do-while节点时，同时也自动创建完成了三个内部节点：start节点（循环开始节点）、sql节点（循环任务节点）、end节点（循环结束判断节点），通过内部节点组织成内部节点流程，实现任务的循环运行。如上图所示：

• start节点

  代表循环开始，不承载具体的任务代码，循环节点内部具体待循环执行的任务节点均需要直接或间接依赖该start节点，且不支持删除。

• 循环逻辑

  DataWorks默认为您创建好了一个SQL类型的内部任务运行节点，您也可以删除默认的sql节点后，根据实际情况重新构建循环节点内部待循环的业务流程。

  通常循环任务的业务流程会与赋值节点、分支节点、归并节点联合使用，自定义循环任务节点时，您可以删除内部节点间的依赖关系，重新编排循环节点内部业务流程，但需要分别将start节点、end节点分别作为do-while节点内部业务流程的首末节点。

• end节点
  • end节点是do-while节点的循环判断节点，来控制do-while节点循环次数，其本质上是一个赋值节点，输出true和false两种字符串，分别代表继续下一个循环和不再继续循环。
  • end节点支持使用ODPS SQL、SHELL和Python（Python2）三种语言进行循环判断代码开发，同时do-while节点为您提供了便利的内置变量，便于您进行end代码开发。内置变量的介绍请参见内置变量和取值案例，不同语言开发的样例代码请参见退出循环示例：end节点代码样例。
  • 循环节点内部具体待循环执行的任务节点均需要直接或间接为该end的节点上游，且不支持删除该节点。

内置变量

取值案例

案例1：上游赋值节点为Shell语法

• 节点输出

  上游赋值节点为Shell语法，最后一条输出结果为2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01。

• 变量取值

  内置变量	第1次循环时取值	第2次循环时取值
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

案例2：上游赋值节点为ODPS SQL语法

• 节点输出
  上游赋值节点为ODPS SQL语法，最后一条select语句查询出两条数据：

  +----------------------------------------------+
  | uid            | region | age_range | zodiac |
  +----------------------------------------------+
  | 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 |
  | 0016359814159  | 未知   | 30~40岁   | 巨蟹座 |
  +----------------------------------------------+

• 变量取值

  内置变量	第1次循环时取值	第2次循环时取值
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | 湖北省 | 30~40岁 | 巨蟹座 | | 0016359814159 | 未知 | 30~40岁 | 巨蟹座 | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821,湖北省,30~40岁,巨蟹座	0016359814159,未知,30~40岁,巨蟹座
  ${dag.input.length}	2 说明 二维数组的行数为数据集长度，当前赋值节点输出的二维数组行数为2。
  ${dag.input[0][1]} 说明 二维数组的第一行第一列的取值。	0016359810821
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

退出循环示例：end节点代码样例

end节点支持使用ODPS SQL、SHELL和Python（Python2）三种语言进行循环判断代码开发，以下为您示例三种不同语言下，典型的代码样例。

使用ODPS SQL语言

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';

end节点示例代码中将表行数和迁移量与固定值比较，来限制do-while节点整体的循环次数。

使用Shell语言

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi

将循环次数${dag.loopTimes}和5进行比较，来限制do-while节点整体的循环次数。

例如：第一次循环${dag.loopTimes}的值为1、第二次为2，以此类推，第五次为5。至此end节点的输出结果为false，do-while节点退出循环。

使用Python（Python2）语言

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# 如果end节点输出True，则继续下一个循环。
# 如果end节点输出False，则终止循环。

代码中把循环次数${dag.loopTimes}和赋值节点传递的数据集行数进行比较，来限制do-while节点整体的循环次数。

应用场景

与赋值节点联合使用

do-while节点与赋值节点联合使用时，典型的应用场景和注意事项如下所示：

注意事项	配置案例	配置案例
使用do-while节点进行循环任务时，内部节点的循环任务在每一次循环时，需要获取使用上游节点（up节点）的输出参数时，此时可以使用赋值节点（assign_node）。	依赖关系 do-while节点需要依赖上游赋值节点（assign_node）。 说明 如上图所示，依赖关系是do-while节点依赖赋值节点，而非do-while的内部循环任务节点（sql节点）依赖赋值节点。 上下文参数 赋值节点需将输出参数作为赋值节点（assign_node）的本节点输出参数。 do-while的内部循环任务节点（sql节点）需将赋值节点的输出参数添加为本节点输入参数。 说明 上下文关系设置，需设置内部的循环任务节点，而非do-while节点。

与分支节点、归并节点联合应用