Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。
背景信息
RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。
操作步骤
步骤一:登录节点任务设置页面
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工 。
说明 若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择节点模式。
步骤二:新建节点并设置节点属性参数
单击图标,在开发环境页面,单击新建节点。
在新建节点对话框,选择Elastic Service节点类型,单击确定。
在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称、所属目录和描述信息等。
选择开发语言和开发语言版本,上传算法包。
在API 调用信息区域框,单击对应API操作列的图标和图标,定义API的入参和返回值的数据格式。
系统会自动从上传的算法文件中解析出API,您只需要根据实际需要定义API的入参和返回值的数据格式即可。
配置项 | 说明 |
节点名称 | 节点的名称,支持用户自定义。 |
节点标识 | 节点的唯一标识,由用户自定义,同一个工作区内不可重复。 |
节点类型 | Elastic Service类型。
重要 在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。 |
节点描述 | 节点的描述性信息,方便用户理解和查找。 |
GPU | 选中使用 GPU时,可使用GPU 对该Elastic Service节点做计算。 后续在场景中添加该Elastic Service计算节点时,您可在运行属性中设置单实例GPU 卡数。 |
模型 | 选中使用模型:把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的Java或Python版本的模型管理 SDK 来操作模型列表中的模型。 |
代码包 | 开发语言 | 当前支持Java和Python两种语言,支持的版本如下: Java:Java 7和 Java 8。 Python:Python 3.6。
您需要根据运行节点的实际环境来选择开发语言和开发语言版本。 |
开发语言版本 |
节点文件 | 支持上传单个.zip资源文件包。 |
自定义镜像 | 镜像环境名称 | 镜像格式。 |
镜像环境版本号 | 输入版本号。 |
健康检查方式 | 用来判断镜像启动后是否正常。 |
服务端口 | 输入服务端口号,镜像服务对外透出的端口。 |
在节点编辑页面,单击图标。
在确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认。
步骤三:配置运行的相关参数
单击页面右侧运行配置页签,根据业务需要,手动添加节点的输入、输出参数和运行参数。
配置节点输入:如果节点文件和脚本中有要求输入变量,则单击添加节点输入,配置输入变量。
配置项 | 说明 |
输入标识 | 该节点输入的标识,用户可自定义。 |
数据结构 | 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。 |
开发环境 | 物理表所在资源 | 开发环境中节点输入使用的物理表所在资源。 |
物理表名 | 开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。
|
生产环境 | 物理表所在资源 | 生产环境中节点输入使用的物理表所在资源。 |
物理表名 | 生产环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。
|
配置节点输出:如果节点脚本中有要求输出变量,则单击添加节点输出,配置输出变量。
配置项 | 说明 |
输出标识 | 输出变量的标识,用户自定义。 |
输出数据结构 | 输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。 |
自定义输出 | |
开发环境 | 物理表所在资源 | 开发环境中节点输出使用的物理表所在资源。 |
物理表名 | 开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。
|
生产环境 | 物理表所在资源 | 生产环境中节点输出使用的物理表所在资源。 |
物理表名 | 生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。
|
(可选)配置字段血缘:当需要查看资产中数据表的血缘关系时,在配置完节点的输入输出参数后,单击手动设置血缘开关,在血缘配置对话框中,单击输出表待配置的目标字段后的图标,下拉选择对应的输入表以及输入表的字段。
说明 配置完字段血缘关系并上线节点后,可至资产中心查看该节点输出表和输入的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。
在编辑页面,单击图标。
如果业务有依赖关系时,需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。
单击解析依赖,当存在依赖节点时,系统会自动解析依赖节点信息并呈现在依赖节点区域。
单击添加依赖,手动新建依赖节点,并选择依赖类型、所属工作区以及依赖节点名称。
在依赖节点区域,选择需要的依赖节点。
设置依赖关系。
在节点编辑页面,单击左上角图标。
配置Elastic运行时参数,设置运行参数。
参数 | 说明 |
运行时参数 | 初始化时间 | 代码启动初始化所需要的时间。 |
超时配置(秒) | 服务启动的超时时间。 |
实例副本数 | 实例上的程序数。 |
单实例CPU核数 | 实例运行的CPU核数。 |
单实例内存上限(MB) | 单实例运行的内存限制。 |
服务网络类型 | 是否对外网络服务的。 |
"有状态"部署 | 是否持久化程序数据。 |
运行环境 | 代码容器使用的镜像,其中自定义镜像只能在zerg控制台中创建。 |
步骤四:(可选)设置调度配置的参数
单击页面右侧调度配置页签,根据下表参数配置调度参数。
单击告警监控后的开关,打开告警配置信息。
配置告警前确保已经设置了监控设置,选择负责人、业务分组以及告警级别。
| 说明 |
监控配置 | 负责人 | 默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员。 |
告警分组 | 下拉选择已创建的分组,具体操作,请参见新建告警分组。 |
告警级别 | 下拉选择接收告警的级别。 |
说明 待场景运行后,在全景监控菜单下,查看告警,更多操作,请参见查看告警消息。
步骤五 :上线节点任务
在开发环境节点画布编辑页面,单击工具栏的图标,上线开发环境节点任务到生产环境节点。
说明 也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。
在确认对话框中,单击确定。
在物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。
单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。