新建离线计算模板

更新时间: 2023-08-02 10:40:47

Dataphin支持创建Shell和Python任务的离线计算模板。后续在开发Shell和Python任务时,可以引用该离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。

背景信息

当多个Shell或Python任务的代码逻辑相似,只有部分配置项或输入参数不同时,您可以将代码写入到离线计算模板中,并将不同的配置项和输入参数定义为模板变量参数。后续任务引用了该离线计算模板后,可以给离线计算模板中的模板变量参数赋值,以实现代码公共逻辑的单点维护和快速复用,提升了任务代码研发的效率。

使用限制

  • 仅支持创建Shell和Python任务的离线计算模板。

  • 支持超级管理员的用户创建、配置并提交离线计算模板。

    如何获取项目管理员和开发者角色,请参见添加项目成员

步骤一:创建离线计算模板

  1. 请参见数据开发入口,进入数据开发页面。

  2. 在数据开发页面,按照下图操作指引,进入新建离线计算模板对话框。

    image
  3. 新建离线计算模板对话框,配置参数。

    image

    参数

    描述

    模板名称

    命名规则如下:

    • 支持任意字符。

    • 全局唯一。

    • 不能超过64个字符。

    节点类型

    当前版本仅支持Python和Shell任务。根据您后续开发的任务类型进行选择,例如后续您需要基于离线计算模板开发Shell任务,则节点类型选择为Shell。

    选择目录

    默认选择为离线计算模板。同时您也可以在计算模板页面创建目标文件夹后,选择该目标文件夹为计算模板的目录。image

    描述

    填写对离线计算模板简单的描述。

  4. 单击确定,完成离线计算模板。

步骤二:开发离线计算模板的代码

  1. 在离线计算模板的代码开发页面,开发离线计算的模板代码。

    支持定义模板变量参数,格式为@@{模板变量参数名称} ,模板变量参数名称只能包含字母、数字和下划线(_)且只能以字母开头。例如@@{variable}

    image
  2. 完成离线计算模板的代码开发后,单击页面左上方的image按钮,并在参数填写对话框中填写参数值。

    image
  3. 单击确定

步骤三:配置离线计算模板信息

  1. 在离线计算模板的代码开发页面,单击页面上方的模板信息

  2. 模板信息面板中,配置参数。

    区域

    参数

    描述

    基本信息

    描述

    填写离线计算模板的简单描述。

    参数配置

    参数说明

    填写代码中的参数说明,便于开发者理解。

    默认值

    为代码中的参数赋值。后续您可以在引用了该模板的任务中修改该参数值,运行任务后即可生效。

    参数加密

    开启参数加密后,参数默认值将以密文形式存储,以保护敏感数据。后续在引用该模板的任务中也是无法查看明文的参数默认值,任务运行时Dataphin会自动解密参数默认值。

    关闭参数加密后,已配置的参数默认值将自动清空。

  3. 单击确定,完成离线计算模板的配置。

步骤四:保存、调试及提交离线计算模板

  1. 在离线计算模板的代码开发页面,单击页面上方的image按钮,并在提交备注对话框中填写备注信息。

  2. 单击确定并提交

查看模板引用任务

完成离线计算模板的提交后,您可在引用对话框中,查看引用该模板的任务列表。

gagaga

后续步骤

基于已创建的离线计算模板创建对应的任务,具体操作请参见新建Shell任务创建Python计算任务

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈