参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数并实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。
节点介绍
参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理等场景。
跨节点传参。
当数据开发的业务流程中,某个下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以使用参数节点,将下游节点需要获取的所有参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。
以上图为例,
Sq_MySQL_G
节点需要获取Sq_MySQL_B
、Sq_MySQL_E
节点的输出参数,可以通过参数节点,作为Sq_MySQL_B
、Sq_MySQL_E
节点的下游节点,并将Sq_MySQL_G
所需的参数都添加至参数节点内,然后将Sq_MySQL_G
作为参数节点的下游接收参数节点的输出参数,实现Sq_MySQL_G
通过参数节点获取到Sq_MySQL_B
、Sq_MySQL_E
的参数。参数管理。
当数据开发的业务流程中,下游节点的任务需要使用某些常量参数、变量参数时,您可以使用参数节点,将下游节点需要使用的参数均添加至参数节点中,需使用参数的下游节点直接挂在参数节点之下,即可获取所需参数,便于整个业务流程中对所有使用的参数进行统一管理。
以上图为例,
Sq2_MySQL_A
、Sq2_MySQL_C
、Sq2_MySQL_D
、Sq2_MySQL_E
、Sq2_MySQL_F
节点均需使用参数,即可通过参数节点,获取上游节点的输出参数,以及配置相应的变量参数或常量参数,作为需要使用这些参数的上游节点。
前提条件
RAM账号添加至对应空间(可选)。
进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员。
对应空间已绑定Serverless资源组。详情请参见:使用Serverless资源组。
进行参数节点开发前,需创建对应的参数节点,详情请参见:节点参考。
注意事项
某任务节点引用参数节点中的参数时,需处于参数节点的直接下游,将参数节点作为本节点的上游依赖。
步骤一:参数节点开发
参数节点内可以创建常量、变量以及透传变量,以下为这三种参数的配置方式:
常量参数取值为一个固定值,可直接在参数节点里进行配置
打开参数节点编辑页面,单击左上角的新增参数按钮,进行新增参数。
配置常量参数:
配置项
配置说明
参数名称
自定义参数名称。
用于下游节点添加参数时选择使用。
参数类型
常量。
取值
按业务需求自定义常量。
描述
根据业务需求对该参数的说明描述。
配置完常量参数后,单击操作列的保存,即可保存该参数。
参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。
打开参数节点编辑页面,单击左上角的新增参数按钮,进行新增参数。
配置变量参数:
配置项
配置说明
参数名称
自定义参数名称。
用于下游节点添加参数时选择使用。
参数类型
变量。
取值
按业务需求自定义变量。
变量参数的详细介绍可参见调度参数支持的格式
描述
根据业务需求对该参数的说明描述。
配置完常量参数后,单击操作列的保存,即可保存该参数。
透传变量主要用于将上游节点的产出参数透传至下游节点,参数取值可选择参数节点调度依赖中上游依赖节点的所有输出参数。
进入参数节点编辑页面,单击右侧调度配置,在
中单击新增依赖,将需要透传参数至下游的节点配置为上游依赖。配置完依赖后,切换至调度参数中,单击添加参数,配置详情如下:
自定义新增的参数名称。
单击
按钮,对上游节点的输出参数进行搜索绑定。
配置完成参数后,关闭调度配置,然后在参数节点页面,单击新增参数,进行配置:
配置项
配置说明
参数名称
自定义参数名称。
用于下游节点添加参数时选择使用。
参数类型
透传变量。
取值
下拉选择在调度配置添加绑定的上游参数。
描述
根据业务需求对该参数的说明描述。
配置完常量参数后,单击操作列的保存,即可保存该参数。
完成参数节点的参数配置后,需对参数节点进行调度配置,详情请参见调度配置。
步骤二:下游节点使用参数
完成参数节点的配置后,您可以在下游节点中直接使用参数节点中的参数,统一管理参数,提高下游节点任务开发效率。
参数节点下游节点使用参数时,需在下游节点的调度参数中新增参数来绑定参数节点。
绑定上游参数节点参数。
进入参数节点编辑页面,单击右侧调度配置,在
中单击新增依赖,将需要参数节点配置为上游依赖。配置完依赖后,切换至调度参数中,单击添加参数,配置详情如下:
自定义新增的参数名称。
单击
按钮,对上游参数节点的输出参数进行搜索绑定。
配置完参数后,在节点脚本编辑时,即可通过
${参数名}
获取使用从参数节点内传递而来的参数。
步骤二:节点发布与运维
- 本页导读 (1)
- 节点介绍
- 前提条件
- 注意事项
- 步骤一:参数节点开发
- 步骤二:下游节点使用参数
- 步骤二:节点发布与运维