Processor部署

更新时间:
复制为 MD 格式

EAS提供了常见模型框架的预置Processor(如PMML、XGBOOST等)可以快速启动服务。如无法满足特定的业务需求,还可以构建自定义Processor。

Processor部署原理

准备好模型和Processor文件等服务部署前的准备内容后,分别上传至存储云产品(OSS、NAS),EAS通过挂载存储云产品来获取部署前所需的准备内容进行服务部署。

EAS Processor部署流程如下。

image

此方式的部署要点如下。

  • PAI为您提供了多个典型场景的官方Processor供您使用,您也可以结合业务需求自行开发模型并开发自定义Processor文件,完成后分别上传至阿里云存储产品OSSNAS。

  • 建议您将模型和Processor文件独立开发分别存储,后续可在部署时配置模型挂载路径,Processor文件中可使用get_model_path参数来获取配置的模型路径,便于后续模型需频繁迭代更新时,可方便地替换模型。

  • 使用Processor部署时,EAS会根据您选用的推理框架自动拉取官方环境镜像来部署服务,并基于Processor文件自动为您部署一个HTTP Server用于接收后续调用服务的请求。

说明

推荐使用镜像部署。使用Processor方式部署时,需保证模型的推理框架和Processor文件的开发符合开发环境要求,不如镜像部署方式灵活高效。

部署参数说明

通过控制台进行Processor部署特有的参数说明如下,其他请参见自定义部署

参数

描述

模型配置

您可以通过以下任何一种方式配置模型文件:

  • 对象存储(OSS):选择模型文件所在的OSS路径。

  • 公网下载地址:输入可以公开访问的URL地址。

  • PAI模型:根据模型名称和模型版本选择已注册的模型。关于如何查看已注册的模型,详情请参见注册及管理模型

Processor种类

支持所有的预置官方Processor和自定义Processor,关于预置官方Processor的更多信息,详情请参见预置Processor

  • Processor种类选择EasyVision(CPU)EasyVision(GPU)EasyTransfer(CPU)EasyTransfer(GPU)EasyNLPEasyCV时,支持配置模型类别(每个Processor种类对应的模型类别不同,请根据业务使用场景选择)。

  • Processor种类选择自定义processor时,支持配置以下参数:

    • Processor语言:支持选择cppjavapython

    • Processor:您可以通过对象存储(OSS)公网下载地址两种方式配置。

    • Processor主文件:配置自定义Processor包的主文件。