运行参数配置是对计算任务代码中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置参数及使用节点参数,并以MAX_COMPUTE_SQL为例,讲解参数配置。
操作步骤
在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发。
在开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。
在左侧导航栏中选择数据处理 > 计算任务。
在计算任务列表中,单击目标计算任务,打开对应计算任务页签。
单击页面右侧边栏的属性,打开属性面板,并在运行参数区域内配置以下参数。
输入参数
在输入参数区域,可以在代码编辑区域中通过表达式方式新增参数、系统将自动加载代码编辑器中已有的参数。表达式格式:
${变量名}
。同时可以在参数列表中修改参数类型并对参数赋值。说明输入参数列表支持批量操作,勾选或全选输入参数后,可以单击进行批量修改参数类型。
参数
描述
参数名称
代码编辑器中定义的参数名称。变量名称仅包含数字、字母和下划线(_),长度在32位以内。
参数类型
包括全局变量、空间名称变量、本地变量、跨节点变量、非变量类型。更多信息,请参见变量分类与赋值。
参数值
全局变量:默认为全局变量所定义的变量值,不支持设置。更多信息,请参见新建全局变量。
空间名称变量:参数值即为空间名称。
本地变量:最长支持258个字符或设置为空值。
跨节点变量:设置上游依赖后,可以选择上游的跨节点输出参数作为参数值。
非变量:不支持定义。
跨节点输出参数
重要仅支持Python、SQL、Shell计算任务定义跨节点输出参数。
集成任务、计算任务、普通/层级维度逻辑表、事实逻辑表的输入参数支持跨节点变量参数。
透传给本对象节点直接下游节点的变量参数。须在本列表预先声明定义,未声明的输出变量将被系统忽略。声明后未在代码中赋值的变量,将使用配置的缺省值。在代码编辑区域,可以通过右键单击菜单设置跨节点参数对变量参数赋值。
说明若需添加多个跨节点输出参数,可以单击+添加参数进行添加。
跨节点输出参数列表支持批量操作,勾选或全选跨节点输出参数后,可以单击进行批量删除。
参数
描述
参数名称
长度不超过32个字符,仅支持数字、字母和下划线(_)。
参数说明
参数的简单描述,128个字符以内。
缺省值
变量未被赋值时使用的缺省值(默认值)。若需给跨节点输出参数赋值,具体操作,请参见跨节点输出参数赋值。
下游(Down)节点引用了上游(Up)节点的跨节点输出参数,对下游(Down)节点做补数据操作时,如果未勾选到上游(Up)同一个补数据实例,下游(Down)节点中跨节点输入参数将从上游(Up)的最近N天运行记录中取值,若不存在运行记录或超出N天,则取缺省值。最近N天(N)默认为15天。
补数据时,建议同时勾选上游(Up)节点和下游(Down)节点。若上游(Up)节点代码中未对跨节点参数赋值,下游(Down)节点也将使用缺失值。
单击确定,完成计算任务运行参数配置。