Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。
背景信息
Elastic Service运行于Elastic Service类型的云计算资源之上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据。
以下为各种在线服务的RPC方式:
HSF > TCP+Hessian
JAX-RS > HTTP
Spring Remoting > HTTP+Hessian
RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。
操作步骤
步骤一:登录节点任务设置页面
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工 。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择节点模式。
步骤二:新建节点并设置节点属性参数
在开发环境页签,单击新建节点。
在新建节点对话框,选择Elastic Service节点类型,单击确定。
在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称、所属目录和描述信息等。
选择开发语言和开发语言版本,上传算法包。
在API 调用信息区域框,单击对应API操作列的图标和图标,定义API的入参和返回值的数据格式。
系统会自动从上传的算法文件中解析出API,您只需要根据实际需要定义API的入参和返回值的数据格式即可。
Java:Java 7和 Java 8。
Python:Python 3.6。
HTTP健康检查默认请求/health, 返回码200表示成功。
SHELL健康检查默认执行根目录下的checkHealth.sh文件,命令退出返回0表示成功。
在节点编辑页面,单击图标。
在确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认。
配置项 | 说明 | |
节点名称 | 节点的名称,支持用户自定义。 | |
节点标识 | 节点的唯一标识,由用户自定义,同一个工作区内不可重复。 | |
节点类型 | Elastic Service类型。 重要 在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。 | |
节点描述 | 节点的描述性信息,方便用户理解和查找。 | |
GPU | 选中使用 GPU时,可使用GPU 对该Elastic Service节点做计算。 后续在场景中添加该Elastic Service计算节点时,您可在运行属性中设置单实例GPU 卡数。 | |
模型 | 选中使用模型:把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的Java或Python版本的模型管理 SDK 来操作模型列表中的模型。 | |
代码包 | 开发语言 | 当前支持Java和Python两种语言,支持的版本如下: 您需要根据运行节点的实际环境来选择开发语言和开发语言版本。 |
开发语言版本 | ||
节点文件 | 支持上传单个.zip资源文件包。 | |
自定义镜像 | 镜像环境名称 | 镜像格式。 |
镜像环境版本号 | 输入版本号。 | |
健康检查方式 | 用来判断镜像启动后是否正常。 | |
服务端口 | 输入服务端口号,镜像服务对外透出的端口。 |
步骤三:配置运行的相关参数
单击页面右侧运行配置页签,根据业务需要,手动添加节点的输入、输出参数和运行参数。
配置节点输入:如果节点文件和脚本中有要求输入变量,则单击添加节点输入,配置输入变量。
配置项
说明
输入标识
该节点输入的标识,用户可自定义。
数据结构
输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
开发环境
物理表所在资源
开发环境中节点输入使用的物理表所在资源。
物理表名
开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。
当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。
生产环境
物理表所在资源
生产环境中节点输入使用的物理表所在资源。
物理表名
生产环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。
当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。
配置节点输出:如果节点脚本中有要求输出变量,则单击添加节点输出,配置输出变量。
配置项
说明
输出标识
输出变量的标识,用户自定义。
输出数据结构
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
自定义输出
当打开自定义输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。
当关闭自定义输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。
开发环境
物理表所在资源
开发环境中节点输出使用的物理表所在资源。
物理表名
开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。
当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。
生产环境
物理表所在资源
生产环境中节点输出使用的物理表所在资源。
物理表名
生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。
当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。
(可选)配置字段血缘:当需要查看资产中数据表的血缘关系时,在配置完节点的输入输出参数后,单击手动设置血缘开关,在血缘配置对话框中,单击输出表待配置的目标字段后的图标,下拉选择对应的输入表以及输入表的字段。
说明配置完字段血缘关系并上线节点后,可至资产中心查看该节点输出表和输入的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。
在编辑页面,单击图标。
如果业务有依赖关系时,需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。
单击自动解析依赖节点,当存在依赖节点时,系统会自动解析依赖节点信息并呈现在依赖节点区域。
单击新建依赖节点,手动新建依赖节点,并选择依赖类型、所属工作区以及依赖节点名称。
在外部依赖节点区域,依赖类型的下拉列表,选择需要的依赖类型。
选择依赖节点所属工作区并选择相应的依赖节点名称。
在节点编辑页面,单击左上角图标。
配置Elastic运行时参数,设置运行参数。
参数
说明
运行时参数
初始化时间
代码启动初始化所需要的时间。
超时配置(秒)
服务启动的超时时间。
实例副本数
实例上的程序数。
单实例CPU核数
实例运行的CPU核数。
单实例内存上限(MB)
单实例运行的内存限制。
服务网络类型
是否对外网络服务的。
"有状态"部署
是否持久化程序数据。
运行环境
代码容器使用的镜像,其中自定义镜像只能在zerg控制台中创建。
(可选)配置告警监控信息。
步骤四:上线节点任务
在开发环境节点画布编辑页面,单击工具栏的图标,上线开发环境节点任务到生产环境节点。
说明也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。
在确认对话框中,单击确定。
在物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。
单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。