EAS 服务部署将您的模型或算法封装为在线推理服务。本文介绍部署的工作原理以及三种部署方式的选择。
工作原理(镜像部署)
EAS服务本质上是运行在一个或多个隔离的容器实例中。服务启动过程包含以下核心要素:
-
镜像 :一个包含操作系统、基础库(如CUDA)、语言环境(如Python)和必要依赖的只读模板。可使用PAI提供的官方镜像,也可以自定义镜像以满足特定业务需求。
-
代码与模型 :您的业务逻辑代码和模型文件。推荐存储在对象存储OSS或文件存储NAS中。这能实现代码/模型与环境的解耦,无需重建镜像即可更新业务代码和模型。
-
存储挂载:EAS在启动时,会将您指定的外部存储路径挂载到容器的本地目录。这使得容器内的代码可以像访问本地文件一样,直接访问外部存储上的文件。
-
运行命令:容器启动后需要执行的第一个命令。通常用于启动HTTP服务以接收推理请求。
整个流程如下:
-
拉取指定的镜像来创建容器。
-
将外部存储挂载到容器的指定路径。
-
在容器内执行运行命令。
-
命令成功执行后,在指定端口监听并处理推理请求。
EAS支持镜像部署和Processor部署两种部署方式。推荐使用镜像部署。因为镜像部署提供了更高的灵活性和可维护性,而Processor部署在环境和框架存在较多限制。
三种部署方式
EAS 控制台提供以下三种部署方式。三种方式最终都提交同一份 JSON 服务配置,区别在于配置的生成方式。
|
部署方式 |
说明 |
适用场景 |
详细文档 |
|
场景化模型部署 |
基于预填模板,仅需修改少量参数。 |
部署主流模型或工具(OpenClaw、LLM、RAG 等),快速上线。 |
|
|
自定义模型部署(控制台) |
在控制台表单中填写配置,由控制台生成 JSON。 |
单个服务的交互式部署,覆盖大部分常用配置。 |
|
|
自定义模型部署(JSON) |
直接编辑完整 JSON 配置。 |
批量或版本化部署、CI/CD 集成,或使用控制台未提供的配置项。 |
JSON配置还可以通过eascmd客户端工具或 PAI Python SDK进行部署。
重要配置项
部署服务时,除了选择部署方式,通常还需要配置以下内容:
-
计算资源:选择资源类型、配置系统盘等。详情请参见资源配置。
-
存储挂载:将模型文件和数据从 OSS、NAS 等外部存储挂载到服务容器。详情请参见存储挂载。
-
网络访问:配置服务的网络环境,如专有网络 VPC、公网访问等。详情请参见EAS访问公网或内网资源。
-
动态参数:为服务配置可在运行时动态更新的键值对,无需重启即可调整推理行为。详情请参见配置动态参数。