文档

新建Elastic Service在线类型的节点并运行

更新时间:

Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。

背景信息

  • Elastic Service运行于Elastic Service类型的云计算资源之上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据。

  • 以下为各种在线服务的RPC方式:

    • HSF > TCP+Hessian

    • JAX-RS > HTTP

    • Spring Remoting > HTTP+Hessian

RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。

操作步骤

步骤一:登录节点任务设置页面

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择节点模式

步骤二:新建节点并设置节点属性参数

  1. 单击image图标,在开发环境页面,单击新建节点

  2. 新建节点对话框,选择Elastic Service节点类型,单击确定

  3. 在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称、所属目录和描述信息等。

  4. 选择开发语言和开发语言版本,上传算法包。

  5. API 调用信息区域框,单击对应API操作列的image.png图标和image.png图标,定义API的入参和返回值的数据格式。

  6. 系统会自动从上传的算法文件中解析出API,您只需要根据实际需要定义API的入参和返回值的数据格式即可。

  7. 配置项

    说明

    节点名称

    节点的名称,支持用户自定义。

    节点标识

    节点的唯一标识,由用户自定义,同一个工作区内不可重复。

    节点类型

    Elastic Service类型。

    重要

    在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

    节点描述

    节点的描述性信息,方便用户理解和查找。

    GPU

    选中使用 GPU时,可使用GPU 对该Elastic Service节点做计算。

    后续在场景中添加该Elastic Service计算节点时,您可在运行属性中设置单实例GPU 卡数

    模型

    选中使用模型:把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的Java或Python版本的模型管理 SDK 来操作模型列表中的模型。

    代码包

    开发语言

    当前支持JavaPython两种语言,支持的版本如下:

    • JavaJava 7Java 8

    • PythonPython 3.6

    您需要根据运行节点的实际环境来选择开发语言开发语言版本

    开发语言版本

    节点文件

    支持上传单个.zip资源文件包。

    自定义镜像

    镜像环境名称

    镜像格式。

    镜像环境版本号

    输入版本号。

    健康检查方式

    用来判断镜像启动后是否正常。

    • HTTP健康检查默认请求/health, 返回码200表示成功。

    • SHELL健康检查默认执行根目录下的checkHealth.sh文件,命令退出返回0表示成功。

    服务端口

    输入服务端口号,镜像服务对外透出的端口。

  8. 在节点编辑页面,单击保存图标。

  9. 确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认

步骤三:配置运行的相关参数

  1. 单击页面右侧运行配置页签,根据业务需要,手动添加节点的输入、输出参数和运行参数。

    1. 配置节点输入:如果节点文件和脚本中有要求输入变量,则单击添加节点输入,配置输入变量。

      配置项

      说明

      输入标识

      该节点输入的标识,用户可自定义。

      数据结构

      输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

      • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      开发环境

      物理表所在资源

      开发环境中节点输入使用的物理表所在资源。

      物理表名

      开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

      • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

      • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      生产环境

      物理表所在资源

      生产环境中节点输入使用的物理表所在资源。

      物理表名

      生产环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

      • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

      • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    2. 配置节点输出:如果节点脚本中有要求输出变量,则单击添加节点输出,配置输出变量。

      配置项

      说明

      输出标识

      输出变量的标识,用户自定义。

      输出数据结构

      输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

      • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      自定义输出

      • 当打开自定义输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      • 当关闭自定义输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。

      开发环境

      物理表所在资源

      开发环境中节点输出使用的物理表所在资源。

      物理表名

      开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

      • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

      生产环境

      物理表所在资源

      生产环境中节点输出使用的物理表所在资源。

      物理表名

      生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

      • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

    3. (可选)配置字段血缘:当需要查看资产中数据表的血缘关系时,在配置完节点的输入输出参数后,单击手动设置血缘开关,在血缘配置对话框中,单击输出表待配置的目标字段后的14图标,下拉选择对应的输入表以及输入表的字段。

      说明

      配置完字段血缘关系并上线节点后,可至资产中心查看该节点输出表和输入的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。

  2. 在编辑页面,单击保存图标。

  3. 如果业务有依赖关系时,需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。

    1. 单击解析依赖,当存在依赖节点时,系统会自动解析依赖节点信息并呈现在依赖节点区域。

    2. 单击添加依赖,手动新建依赖节点,并选择依赖类型、所属工作区以及依赖节点名称。

      1. 依赖节点区域,选择需要的依赖节点。

      2. 设置依赖关系。

    3. 在节点编辑页面,单击左上角保存图标。

  4. 配置Elastic运行时参数,设置运行参数。

    参数

    说明

    运行时参数

    初始化时间

    代码启动初始化所需要的时间。

    超时配置(秒

    服务启动的超时时间。

    实例副本数

    实例上的程序数。

    单实例CPU核数

    实例运行的CPU核数。

    单实例内存上限(MB

    单实例运行的内存限制。

    服务网络类型

    是否对外网络服务的。

    "有状态"部署

    是否持久化程序数据。

    运行环境

    代码容器使用的镜像,其中自定义镜像只能在zerg控制台中创建。

步骤四:(可选)设置调度配置的参数

  1. 单击页面右侧调度配置页签,根据下表参数配置调度参数。

    1. 单击告警监控后的告警配置开关,打开告警配置信息。

    2. 配置告警前确保已经设置了监控设置,选择负责人、业务分组以及告警级别。

      说明

      监控配置

      负责人

      默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员

      告警分组

      下拉选择已创建的分组,具体操作,请参见新建告警分组

      告警级别

      下拉选择接收告警的级别。

      说明

      待场景运行后,在全景监控菜单下,查看告警,更多操作,请参见查看告警消息

步骤五 :上线节点任务

  1. 在开发环境节点画布编辑页面,单击工具栏的image.png图标,上线开发环境节点任务到生产环境节点。

    说明

    也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。

  2. 在确认对话框中,单击确定

  3. 物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。

  4. 单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。

  • 本页导读 (0)
文档反馈