Elastic Job是离线服务类型的节点,提供“调用一次,执行一次”的离线类任务型服务。本文介绍如何新建Elastic Job类型的公共节点。
前提条件
已准备好算法包文件。
背景信息
Elastic Job节点运行于Elastic Job类型的云计算资源上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据源。
操作步骤
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工 。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择公共节点。
单击图标,在公共节点页面,单击新建节点。
在新建节点对话框,选择Elastic Job节点类型,单击确定。
在节点编辑页面进行配置。
在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及节点描述等。
参数
说明
节点名称
节点的名称,支持用户自定义。
节点标识
节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。
节点目录
节点所属目录。
公共节点版本
首次创建时,默认为开发版本(Beta),待第一次发布以后,再次发布,版本号依次叠加。
节点描述
节点的描述下信息,方便用户理解和查找。
GPU
选中使用 GPU 时,可使用 GPU 对该Elastic Job节点做计算。 后续在场景中新建该Elastic Job节点时,您可在运行属性中设置单实例 GPU 卡数。
节点产出模型
选中产出模型,把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的 Java 或 Python 版本的模型管理 SDK 场景的操作模型,供其他算法操作使用。
应用包
开发语言
当前支持的开发语言及版本如下:
Java:Java 7 和 Java 8 。
Python:Python 3.6 。
您需要根据运行算法的实际环境来选择开发语言和开发语言版本。
开发语言版本
节点附件
支持导入本地资源文件,必须是单个的ZIP包。
镜像
镜像环境名称
Elastic或者image格式。
镜像环境版本
输入版本号。
选择开发语言以及对应的版本,并上传算法包。
在编辑页面,输入对应的脚本内容,单击图标。
在确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认。
单击页面右侧运行配置页签,选择需要的开发计算资源。
(条件必选)如果代码中存在输入、输出表或者节点变量,则需要手动添加节点的输入、输出参数和节点变量,具体参数配置参见下表。
配置节点输入:如果节点文件和脚本中有要求输入,则打开节点输入后面的开关,单击添加节点输入,添加节点输入,自定义填写输入标识并选择输入数据结构。
配置节点输出:如果节点脚本中有要求输出变量,则打开节点输出后面的开关,单击添加节点输出,添加节点输出,自定义填写输出标识,并选择输出数据结构。
配置节点变量:如果需要设置节点的全局控制参数,单击添加参数,添加节点变量并赋值。
参数
说明
节点输入
输入标识
输入变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Input。
数据结构
输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
节点输出
输出标识
输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output。
数据结构
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
节点变量
变量名
算法变量的名称,用户自定义。
变量值
设置变量的值,值类型为字符串(String)类型。
变量说明
变量说明信息。
在节点编辑页面,单击左上角图标。