新建Elastic Job类型的公共节点
Elastic Job是离线服务类型的节点,提供“调用一次,执行一次”的离线类任务型服务。本文介绍如何新建Elastic Job类型的公共节点。
前提条件
已准备好算法包文件。
背景信息
Elastic Job节点运行于Elastic Job类型的云计算资源上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据源。
操作步骤
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择公共节点。
单击图标,在公共节点页面,单击新建节点。
在新建节点对话框,选择Elastic Job节点类型,单击确定。
在节点编辑页面进行配置。
在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及节点描述等。
参数
说明
节点名称
节点的名称,支持用户自定义。
节点标识
节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。
节点类型
Elastic Job类型。
公共节点版本
首次创建时,默认为开发版本(Beta),待首次发布以后,再次发布,版本号依次叠加。
节点目录
节点所属目录。
GPU
选中使用 GPU 时,可使用 GPU 对该Elastic Job节点做计算。 后续在场景中新建该Elastic Job节点时,您可在运行属性中设置单实例 GPU 卡数。
节点产出模型
选中产出模型,把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的 Java 或 Python 版本的模型管理 SDK 场景的操作模型,供其他算法操作使用。
代码包
开发语言
当前支持的开发语言及版本如下:
Java:Java 7 和 Java 8 。
Python:Python 3.6 。
您需要根据运行算法的实际环境来选择开发语言和开发语言版本。
开发语言版本
节点资源文件
支持导入本地资源文件,必须是单个的ZIP包。
算法镜像
镜像名称
Elastic或者image格式。
镜像版本
输入版本号。
节点描述
节点的描述下信息,方便用户理解和查找。
选择开发语言以及对应的版本,并上传算法包。
在编辑页面,输入对应的脚本内容,单击图标。
在确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认。
单击页面右侧运行配置页签,选择需要的开发计算资源。
手动添加节点的输入、输出参数和节点变量,具体参数配置参见下表。
配置节点输入:如果节点文件和脚本中有要求输入变量,则单击添加节点输入,配置输入变量。
配置节点输出:如果节点脚本中有要求输出变量,则单击添加输出数据,配置输出变量。
(可选)配置节点变量:如果需要设置节点的全局控制参数,则单击添加参数,配置节点运行参数。
参数
说明
节点输入
输入标识
该节点输入的标识,用户可自定义。
输入数据结构
输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
节点输出
输出标识
该节点输出的标识,用户可自定义。
输出数据结构
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。
当选择星号(*)时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。
在节点编辑页面,单击左上角图标。