文档

新建离线计算模板

更新时间:

Dataphin支持创建离线计算模板。后续在开发任务时,可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。

背景信息

当多个任务的代码逻辑相似,只有部分配置项或输入参数不同时,您可以将代码写入到离线计算模板中,并将不同的配置项和输入参数定义为模板变量参数。后续任务引用了该离线计算模板后,可以给离线计算模板中的模板变量参数赋值,以实现代码公共逻辑的单点维护和快速复用,提升了任务代码研发的效率。

使用限制

  • 仅支持超级管理员项目管理员项目开发者的用户创建、配置并提交离线计算模板。

    如何获取项目管理员和开发者角色,请参见操作步骤

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏中的研发。默认进入开发页面。

  2. 按照下图操作指引,进入新建离线计算模板对话框。

    image

  3. 新建离线计算模板对话框,配置参数。

    参数

    描述

    模板名称

    命名规则如下:

    • 支持英文字母、数字、下划线(_)、连接符(-)。

    • 全局唯一。

    • 不能超过64个字符。

    节点类型

    支持Shell、Python,且根据不同离线计算引擎,支持创建不同离线计算模板。

    • MaxCompute计算引擎

      • MAX_COMPUTE_SQL

      • SPARK_JAR_ON_MAX_COMPUTE

      • MAX_COMPUTE_MR

    选择目录

    默认选择为离线计算模板。同时您也可以在计算模板页面创建目标文件夹后,选择该目标文件夹为计算模板的目录。image

    描述

    填写对离线计算模板简单的描述,1000字符以内。

  4. 单击确定

  5. 在离线计算模板的代码开发页面,开发离线计算的模板代码。

    支持定义模板变量参数,格式为@@{模板变量参数名称} ,模板变量参数名称只能包含字母、数字和下划线(_)且只能以字母开头。例如@@{variable}

    image.png

  6. 完成离线计算模板的代码开发后,单击页面左上方的image按钮,并在参数填写对话框中填写参数值。

  7. 单击确定

  8. 在离线计算模板的代码开发页面,单击右侧属性

  9. 属性面板中,配置参数。

    区域

    参数

    描述

    基本信息

    描述

    填写离线计算模板的简单描述。

    参数配置

    参数说明

    填写代码中的参数说明,便于开发者理解。

    默认值

    为代码中的参数赋值。后续您可以在引用了该模板的任务中修改该参数值,运行任务后即可生效。

    参数加密

    开启参数加密后,参数默认值将以密文形式存储,以保护敏感数据。后续在引用该模板的任务中也是无法查看明文的参数默认值,任务运行时Dataphin会自动解密参数默认值。

    关闭参数加密后,已配置的参数默认值将自动清空。

  10. 单击确定,完成离线计算模板的配置。

  11. 在离线计算模板的代码开发页面,单击页面上方的image按钮,并在提交备注对话框中填写备注信息。

  12. 单击确定并提交

后续步骤

基于已创建的离线计算模板创建对应的任务。具体操作,请参见:

  • 本页导读 (0)
文档反馈