新建Elastic Service在线类型的节点并运行

Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。本文介绍如何添加Elastic Service在线类型的节点并运行。

背景信息

  • Elastic Service运行于Elastic Service类型的云计算资源之上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据。

  • 以下为各种在线服务的RPC方式:

    • HSF > TCP+Hessian

    • JAX-RS > HTTP

    • Spring Remoting > HTTP+Hessian

RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。

操作步骤

步骤一:登录节点任务设置页面

  1. 登录企业数据智能平台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择节点模式

步骤二:新建节点并设置节点属性参数

  1. 开发环境页签,单击新建节点

  2. 新建节点对话框,选择Elastic Service节点类型,单击确定

  3. 在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称、所属目录和描述信息等。

  4. 选择开发语言和开发语言版本,上传算法包。

  5. API 调用信息区域框,单击对应API操作列的image.png图标和image.png图标,定义API的入参和返回值的数据格式。

  6. 系统会自动从上传的算法文件中解析出API,您只需要根据实际需要定义API的入参和返回值的数据格式即可。

  7. 配置项

    说明

    节点名称

    节点的名称,支持用户自定义。

    节点标识

    节点的唯一标识,由用户自定义,同一个工作区内不可重复。

    节点类型

    Elastic Service类型。

    重要

    在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

    节点描述

    节点的描述性信息,方便用户理解和查找。

    GPU

    选中使用 GPU时,可使用GPU 对该Elastic Service节点做计算。

    后续在场景中添加该Elastic Service计算节点时,您可在运行属性中设置单实例GPU 卡数

    模型

    选中使用模型:把模型管理的服务地址透传到算法启动参数,节点内部实现时即可调用对应的Java或Python版本的模型管理 SDK 来操作模型列表中的模型。

    代码包

    开发语言

    当前支持JavaPython两种语言,支持的版本如下:

    • JavaJava 7Java 8

    • PythonPython 3.6

    您需要根据运行节点的实际环境来选择开发语言开发语言版本

    开发语言版本

    节点文件

    支持上传单个.zip资源文件包。

    自定义镜像

    镜像环境名称

    镜像格式。

    镜像环境版本号

    输入版本号。

    健康检查方式

    用来判断镜像启动后是否正常。

    • HTTP健康检查默认请求/health, 返回码200表示成功。

    • SHELL健康检查默认执行根目录下的checkHealth.sh文件,命令退出返回0表示成功。

    服务端口

    输入服务端口号,镜像服务对外透出的端口。

  8. 在节点编辑页面,单击保存图标。

  9. 确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认

步骤三:配置运行的相关参数

  1. 单击页面右侧运行配置页签,根据业务需要,手动添加节点的输入、输出参数和运行参数。

    1. 配置节点输入:如果节点文件和脚本中有要求输入变量,则单击添加节点输入,配置输入变量。

      配置项

      说明

      输入标识

      该节点输入的标识,用户可自定义。

      数据结构

      输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

      • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      开发环境

      物理表所在资源

      开发环境中节点输入使用的物理表所在资源。

      物理表名

      开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

      • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

      • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      生产环境

      物理表所在资源

      生产环境中节点输入使用的物理表所在资源。

      物理表名

      生产环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

      • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

      • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    2. 配置节点输出:如果节点脚本中有要求输出变量,则单击添加节点输出,配置输出变量。

      配置项

      说明

      输出标识

      输出变量的标识,用户自定义。

      输出数据结构

      输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

      • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      自定义输出

      • 当打开自定义输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      • 当关闭自定义输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。

      开发环境

      物理表所在资源

      开发环境中节点输出使用的物理表所在资源。

      物理表名

      开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

      • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

      生产环境

      物理表所在资源

      生产环境中节点输出使用的物理表所在资源。

      物理表名

      生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

      • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

    3. (可选)配置字段血缘:当需要查看资产中数据表的血缘关系时,在配置完节点的输入输出参数后,单击手动设置血缘开关,在血缘配置对话框中,单击输出表待配置的目标字段后的14图标,下拉选择对应的输入表以及输入表的字段。

      说明

      配置完字段血缘关系并上线节点后,可至资产中心查看该节点输出表和输入的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。

  2. 在编辑页面,单击保存图标。

  3. 如果业务有依赖关系时,需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。

    1. 单击自动解析依赖节点,当存在依赖节点时,系统会自动解析依赖节点信息并呈现在依赖节点区域。

    2. 单击新建依赖节点,手动新建依赖节点,并选择依赖类型、所属工作区以及依赖节点名称。

      1. 外部依赖节点区域,依赖类型的下拉列表,选择需要的依赖类型。

      2. 选择依赖节点所属工作区并选择相应的依赖节点名称。

    3. 在节点编辑页面,单击左上角保存图标。

  4. 配置Elastic运行时参数,设置运行参数。

    参数

    说明

    运行时参数

    初始化时间

    代码启动初始化所需要的时间。

    超时配置(秒

    服务启动的超时时间。

    实例副本数

    实例上的程序数。

    单实例CPU核数

    实例运行的CPU核数。

    单实例内存上限(MB

    单实例运行的内存限制。

    服务网络类型

    是否对外网络服务的。

    "有状态"部署

    是否持久化程序数据。

    运行环境

    代码容器使用的镜像,其中自定义镜像只能在zerg控制台中创建。

  5. (可选)配置告警监控信息。

    1. 单击告警监控后的告警配置开关,打开告警配置信息。

    2. 配置告警前确保已经设置了监控设置,选择负责人、业务分组以及告警级别。

      说明

      监控配置

      负责人

      默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员

      告警分组

      下拉选择已创建的分组,具体操作,请参见新建告警分组

      告警级别

      下拉选择接收告警的级别。

      说明

      待场景运行后,在全景监控菜单下,查看告警,更多操作,请参见查看告警消息

步骤四:上线节点任务

  1. 在开发环境节点画布编辑页面,单击工具栏的image.png图标,上线开发环境节点任务到生产环境节点。

    说明

    也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。

  2. 在确认对话框中,单击确定

  3. 物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。

  4. 单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。