参数节点

更新时间:2025-01-27 06:10:50

参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数并实现参数在任务节点中传递,支持常量参数、变量参数和透传上游节点的参数,需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点,引导您高效使用DataWorks进行数据开发。

节点介绍

参数节点本质上是一种虚拟节点,不会运行数据计算任务产生数据,主要用于跨节点传参、参数管理等场景。

  • 跨节点传参。

    当数据开发的业务流程中,某个下游节点的任务需要获取多个、多级上游节点的输出参数时,您可以使用参数节点,将下游节点需要获取的所有参数统一添加至参数节点中,后续下游节点可直接挂在参数节点之下,即可获取到所有所需参数。

    image

    以上图为例,Sq_MySQL_G节点需要获取Sq_MySQL_BSq_MySQL_E节点的输出参数,可以通过参数节点,作为Sq_MySQL_BSq_MySQL_E节点的下游节点,并将Sq_MySQL_G所需的参数都添加至参数节点内,然后将Sq_MySQL_G作为参数节点的下游接收参数节点的输出参数,实现Sq_MySQL_G通过参数节点获取到Sq_MySQL_BSq_MySQL_E的参数。

  • 参数管理。

    当数据开发的业务流程中,下游节点的任务需要使用某些常量参数、变量参数时,您可以使用参数节点,将下游节点需要使用的参数均添加至参数节点中,需使用参数的下游节点直接挂在参数节点之下,即可获取所需参数,便于整个业务流程中对所有使用的参数进行统一管理。

    image

    以上图为例,Sq2_MySQL_ASq2_MySQL_CSq2_MySQL_DSq2_MySQL_ESq2_MySQL_F节点均需使用参数,即可通过参数节点,获取上游节点的输出参数,以及配置相应的变量参数或常量参数,作为需要使用这些参数的上游节点。

前提条件

  • RAM账号添加至对应空间(可选)。

    进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员

  • 对应空间已绑定Serverless资源组。详情请参见:使用Serverless资源组

  • 进行参数节点开发前,需创建对应的参数节点,详情请参见:节点参考

注意事项

某任务节点引用参数节点中的参数时,需处于参数节点的直接下游,将参数节点作为本节点的上游依赖。

步骤一:参数节点开发

参数节点内可以创建常量、变量以及透传变量,以下为这三种参数的配置方式:

新增常量参数
新增变量参数
新增透传变量参数

常量参数取值为一个固定值,可直接在参数节点里进行配置

  1. 打开参数节点编辑页面,单击左上角的新增参数按钮,进行新增参数。

  2. 配置常量参数:

    配置项

    配置说明

    参数名称

    自定义参数名称。

    说明

    用于下游节点添加参数时选择使用。

    参数类型

    常量。

    取值

    按业务需求自定义常量。

    描述

    根据业务需求对该参数的说明描述。

  3. 配置完常量参数后,单击操作列的保存,即可保存该参数。

    image

参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。

  1. 打开参数节点编辑页面,单击左上角的新增参数按钮,进行新增参数。

  2. 配置变量参数:

    配置项

    配置说明

    参数名称

    自定义参数名称。

    说明

    用于下游节点添加参数时选择使用。

    参数类型

    变量。

    取值

    按业务需求自定义变量。

    说明

    变量参数的详细介绍可参见调度参数支持的格式

    描述

    根据业务需求对该参数的说明描述。

  3. 配置完常量参数后,单击操作列的保存,即可保存该参数。

    image

透传变量主要用于将上游节点的产出参数透传至下游节点,参数取值可选择参数节点调度依赖中上游依赖节点的所有输出参数。

  1. 进入参数节点编辑页面,单击右侧调度配置,在调度配置 > 调度依赖 > 节点依赖配置中单击新增依赖,将需要透传参数至下游的节点配置为上游依赖。

    image

  2. 配置完依赖后,切换至调度参数中,单击添加参数,配置详情如下:

    1. 自定义新增的参数名称。

    2. 单击image按钮,对上游节点的输出参数进行搜索绑定。image

  3. 配置完成参数后,关闭调度配置,然后在参数节点页面,单击新增参数,进行配置:

    配置项

    配置说明

    参数名称

    自定义参数名称。

    说明

    用于下游节点添加参数时选择使用。

    参数类型

    透传变量。

    取值

    下拉选择在调度配置添加绑定的上游参数。

    描述

    根据业务需求对该参数的说明描述。

  4. 配置完常量参数后,单击操作列的保存,即可保存该参数。

    image

完成参数节点的参数配置后,需对参数节点进行调度配置,详情请参见调度配置

步骤二:下游节点使用参数

完成参数节点的配置后,您可以在下游节点中直接使用参数节点中的参数,统一管理参数,提高下游节点任务开发效率。

说明

参数节点下游节点使用参数时,需在下游节点的调度参数中新增参数来绑定参数节点。

  1. 绑定上游参数节点参数。

    1. 进入参数节点编辑页面,单击右侧调度配置,在调度配置 > 调度依赖 > 节点依赖配置中单击新增依赖,将需要参数节点配置为上游依赖。

      image

    2. 配置完依赖后,切换至调度参数中,单击添加参数,配置详情如下:

      1. 自定义新增的参数名称。

      2. 单击image按钮,对上游参数节点的输出参数进行搜索绑定。

        image

  2. 配置完参数后,在节点脚本编辑时,即可通过${参数名}获取使用从参数节点内传递而来的参数。

步骤二:节点发布与运维

  1. 完成调度配置后,即可对已完成的参数节点以及其上下游节点提交发布至生产环境,详情请参见:节点发布

  2. 发布完成的任务,将按照您配置的调度进行周期运行,可在运维中心 > 任务运维 > 周期任务运维 > 周期任务中查看已发布的周期任务,并对任务进行运维操作,详情请参见:运维中心入门

  • 本页导读 (1)
  • 节点介绍
  • 前提条件
  • 注意事项
  • 步骤一:参数节点开发
  • 步骤二:下游节点使用参数
  • 步骤二:节点发布与运维
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等