配置离线任务运行参数

运行参数配置是对计算任务代码中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置参数及使用节点参数,并以MAX_COMPUTE_SQL为例,讲解参数配置。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务

  4. 在计算任务列表中,单击目标计算任务,打开对应计算任务页签。

  5. 单击页面右侧边栏的属性,打开属性面板,并在运行参数区域内配置以下参数。

    • 输入参数

      输入参数区域,可以在代码编辑区域中通过表达式方式新增参数、系统将自动加载代码编辑器中已有的参数。表达式格式${变量名}。同时可以在参数列表中修改参数类型并对参数赋值。

      image.png

      说明

      输入参数列表支持批量操作,勾选或全选输入参数后,可以单击image.png进行批量修改参数类型。

      参数

      描述

      参数名称

      代码编辑器中定义的参数名称。变量名称仅包含数字、字母和下划线(_),长度在32位以内。

      参数类型

      包括全局变量、空间名称变量本地变量跨节点变量、非变量类型更多信息,请参见变量分类与赋值

      参数值

      • 全局变量:默认为全局变量所定义的变量值,不支持设置。更多信息,请参见新建全局变量

      • 空间名称变量:参数值即为空间名称。

      • 本地变量:最长支持258个字符或设置为空值。

      • 跨节点变量:设置上游依赖后,可以选择上游的跨节点输出参数作为参数值。

      • 非变量:不支持定义。

    • 跨节点输出参数

      重要
      • 仅支持Python、SQL、Shell计算任务定义跨节点输出参数。

      • 集成任务、计算任务、普通/层级维度逻辑表、事实逻辑表的输入参数支持跨节点变量参数。

      透传给本对象节点直接下游节点的变量参数。须在本列表预先声明定义,未声明的输出变量将被系统忽略。声明后未在代码中赋值的变量,将使用配置的缺省值。在代码编辑区域,可以通过右键单击菜单设置跨节点参数对变量参数赋值。

      说明
      • 若需添加多个跨节点输出参数,可以单击+添加参数进行添加。

      • 跨节点输出参数列表支持批量操作,勾选或全选跨节点输出参数后,可以单击image.png进行批量删除。

      参数

      描述

      参数名称

      长度不超过32个字符,仅支持数字、字母和下划线(_)。

      参数说明

      参数的简单描述,128个字符以内。

      缺省值

      • 变量未被赋值时使用的缺省值(默认值)。若需给跨节点输出参数赋值,具体操作,请参见跨节点输出参数赋值

      • 下游(Down)节点引用了上游(Up)节点的跨节点输出参数,对下游(Down)节点做补数据操作时,如果未勾选到上游(Up)同一个补数据实例,下游(Down)节点中跨节点输入参数将从上游(Up)的最近N天运行记录中取值,若不存在运行记录或超出N天,则取缺省值。最近N天(N)默认为15天

      • 补数据时,建议同时勾选上游(Up)节点和下游(Down)节点。若上游(Up)节点代码中未对跨节点参数赋值,下游(Down)节点也将使用缺失值。

  6. 单击确定,完成计算任务运行参数配置。