参数配置及使用节点参数

更新时间: 2023-04-25 15:10:37

参数配置是对计算任务代码中所用的变量进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置参数及使用节点参数,并以MAX_COMPUTE_SQL为例,讲解参数配置。

参数配置入口

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照下图操作指引,选择您需配置调度依赖的任务,并单击属性进入属性面板。

    image
  3. 在属性面板中参数配置区域,即可配置任务的参数信息。

配置参数

参数配置区域,您可以在代码编辑器中通过表达式方式新增参数、系统将自动加载代码编辑器中已有的参数。表达式格式${变量名}

image

Dataphin的变量分类

Dataphin中存在以下类型的变量

变量类型

描述

全局变量

在Dataphin规划-公共定义-全局变量中事先声明定义的变量,可以在租户内任何节点或代码中引用,系统初始内置的全局变量有${bizdate}

image
说明
  • 全局变量暂不支持实时计算和集成同步任务。

  • 全局变量设置详情请参见新建全局变量。

空间名称变量

${生产项目名称}${生产板块名称}。如下图所示:

image

本地变量

无须事先声明和定义,直接在代码中使用${variable_name},即可定义一个名字为variable_name的本地变量。如下图所示:

image

变量名建议只使用数字、字母和下划线。且不要使用glb开头,此为全局变量保留设置,长度不超过32位字符。

重要
  • 如果variable_name与某个全局变量名称一致, 会被系统优先视作引用了全局变量, 可在参数配置中转换类型为本地变量。

  • 如果variable_name与某个生产项目或者生产板块的名称一致, 会被系统强制视作为空间名称变量。

  • 如果${variable_name}是代码内容的一部分, 而不是变量, 可在参数配置中忽略该变量。

变量赋值

日期时间计算表达式

为本地变量赋值时, 如果需要针对日期时间进行运算,Dataphin支持以下快捷日期计算操作符:

  • Dataphin 提供基于两个日期时间的运算

    • 基于业务日期${bizdate}的方式:${(yyyyMMdd|yyyy/MM/dd|yyyy-MM-dd) (+|-) n}

    • 基于预计执行时间(即节点任务设置的起调时间)的方式:$[(yyyyMMddHHmmss|yyyy/MM/dd HH:mm:ss|yyyy-MM-dd HH:mm:ss) (+|-) n]

  • 日期时间各部分的标识符号

    • :yyyy。

    • :mm(日期时间只到天粒度时可使用)或MM(日期时间到分钟粒度时必须使用大写,以便和分钟mm进行区分)。

    • :dd。

    • 小时:HH。

    • 分钟:mm。

    • :ss。

  • 日期时间运算的单位 (interval) 是天

    • 1 小时使用1/24来表示,5小时为5/24。

    • 1 分钟使用1/24/60来表示,30分钟为30/24/60。

示例参考

当前日期

基于业务日期(T-1)的配置

实际值

基于预计执行时间(T)的配置

实际值

2018-01-10

${yyyymmdd}

20180109

$[yyyymmdd]

20180110

2018-01-10

${yyyyMMdd}

20180109

$[yyyyMMdd]

20180110

2018-01-10

${yyyymmdd -1}

20180108

$[yyyymmdd -1]

20180109

2018-01-10

${yyyymmdd -7}

20180102

$[yyyymmdd -7]

20180103

2018-01-10

${yyyy-mm-dd}

2018-01-09

$[yyyy-mm-dd]

2018-01-10

2018-01-10

${yyyy-mm}

2018-01

$[yyyy-mm]

2018-01

2018-01-10

${yyyy-mm -1}

2017-12

$[yyyy-mm -1]

2017-12

2018-01-10

${yyyy}

2018

$[yyyy]

2018

2018-01-10

${yyyy+1}

2019

$[yyyy + 1]

2019

2018-01-10

${yyyy/MM/dd HH:mm:ss}

2018/01/09 00:00:00

$[yyyy/MM/dd HH:mm:ss]

2018/01/10 00:00:00

2018-01-10

${yyyy/MM/dd HH:mm:ss-1/24}

2018/01/08 23:00:00

$[HH:mm:ss-5/24/60]

23:55:00

转换参数变量类型

参数配置时如果您的变量与某个全局变量名称一致, 会被系统优先视作引用了全局变量,您可在参数配置中单击image图标按钮,转换类型为本地变量或将本地变量转换为全局变量。

image

忽略参数变量

如果您代码中${变量名}是代码内容的一部分, 而不是变量, 可在参数配置中单击image图标按钮忽略该变量。

image
阿里云首页 智能数据建设与治理 Dataphin 相关技术圈