新建MaxCompute MR类型的公共节点

当算法脚本类型为Shell时,可通过新建MaxCompute MR类型的公共节点,使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。

前提条件

已创建MaxCompute类型的云计算资源,具体操作,请参见新建MaxCompute云计算资源

操作步骤

方式一:上传算法包方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择MaxCompute MR节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及节点描述并上传算法包。

      参数

      说明

      节点名称

      节点的名称,支持用户自定义。

      节点标识

      节点的唯一标识,由用户自定义,同一个工作组必须是唯一的,不可重复。

      节点目录

      节点所属目录。

      公共节点版本

      首次创建时,默认为开发版本(Beta),待首次发布以后,再次发布,版本号依次叠加。

      节点描述

      节点的描述性信息,方便用户理解和查找。

      节点附件

      本地编写完成的算法文件。

    2. 在编辑页面,以Shell语言编写启动算法文件的脚本内容,单击保存图标。

      说明

      以Shell语言编写启动算法文件的脚本,脚本中引用算法文件时,必须包含算法文件的后缀。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    4. 单击页面右侧运行配置页签,选择需要的开发计算资源。

    5. (条件必选)如果代码中存在输入、输出表或者节点变量,则需要手动添加节点输入、输出参数和节点变量。

      1. 打开节点输入后面的image.png开关,单击添加节点输入,添加节点输入,自定义填写输入标识并选择输入数据结构。

      2. 打开节点输入后面的image.png开关,单击添加节点输出,添加节点输出,自定义填写输出标识,并选择输出数据结构。

      3. 单击添加参数,添加节点变量并赋值

  8. 单击运行图标,在SQL解析对话框中,确认参数类型和默认值无误后,单击确定

    说明

    当不存在参数,则单击运行图标后,不会弹出SQL解析对话框。

  9. 查看运行结果和日志,当结果显示“Current task status:SUCCESS”,则表示公共节点运行成功。

    说明

    首次创建完成时,默认公共节点的版本为开发版本(Beta),待第一次发布以后,版本号依次叠加。

方式二:写SQL语句方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击数据开发图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择MaxCompute MR节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点名称和节点标识、描述等信息。

      参数

      说明

      节点名称

      节点的名称,支持用户自定义。

      节点标识

      节点的唯一标识,由用户自定义,同一个工作组必须是唯一的,不可重复。

      节点目录

      节点所属目录。

      公共节点版本

      首次创建时,默认为开发版本(Beta),待第一次发布以后,再次发布,版本号依次叠加。

      节点附件

      本地编写完成的算法文件。

      节点描述

      节点的描述性信息,方便用户理解和查找。

    2. 在编辑页面,输入SQL语句,单击保存图标。

      说明

      当未保存修改,直接关闭当前页面,本地会缓存修改的代码,当再次打开该节点编辑页面时,系统会给出提示:

      • 当单击忽略,系统会清空本地缓存代码。

      • 当单击查看,系统会自动打开差异对比对话框,查看前后差异,确认需要使用缓存代码后,单击使用未保存代码,系统会将本地缓存代码中的差异内容更新到服务器代码中。

    3. (可选)当需要在SQL中使用自定义函数时,单击引用函数页签,在自定义函数列表找到需要的自定义函数,再返回编辑页面输入。若函数列表为空,则需要先新建函数,更多操作请参见新建自定义函数

    4. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    5. 单击页面右侧运行配置页签,选择需要的开发计算引擎。

    6. (条件必选)如果代码中存在输入、输出表或者节点变量,则需要手动添加节点输入、输出参数和节点变量。

      1. 打开节点输入后面的image.png开关,单击添加节点输入,添加节点输入,填写输入标识,并选择输入数据结构。

      2. 打开节点输出后面的image.png开关,单击添加节点输出,添加节点输出,填写输出标识,并选择输出数据结构。

      3. 单击添加参数,添加输出参数,填写变量名并赋值。

    7. 在节点编辑页面,单击左上角保存图标。

    8. 单击运行图标,在节点变量对话框中,确认参数类型和默认值无误后,单击确定

      说明

      当解析后不存在参数,则单击运行图标后,不会弹出节点变量对话框。

    9. 查看运行结果和日志,当结果显示“Current task status:SUCCESS”,则表示公共节点运行成功。