EAS 服务部署将您的模型或算法封装为在线推理服务。EAS提供场景化部署、自定义部署和JSON独立部署三种方式,最终都生成同一份JSON服务配置。
工作原理(镜像部署)
EAS服务运行在一个或多个隔离的容器实例中。启动过程包含以下核心要素:
镜像 :一个包含操作系统、基础库(如CUDA)、语言环境(如Python)和必要依赖的只读模板。可使用PAI提供的官方镜像,也可以自定义镜像以满足特定业务需求。
代码与模型 :您的业务逻辑代码和模型文件。推荐存储在对象存储OSS或文件存储NAS中。这能实现代码/模型与环境解耦,无需重建镜像即可更新。
存储挂载:EAS启动时,将您指定的外部存储路径挂载到容器本地目录,使容器内代码可直接访问外部存储文件。
运行命令:容器启动后需要执行的第一个命令。通常用于启动HTTP服务以接收推理请求。
整个流程如下:
拉取指定的镜像来创建容器。
将外部存储挂载到容器的指定路径。
在容器内执行运行命令。
命令成功执行后,在指定端口监听并处理推理请求。
EAS支持镜像部署和Processor部署两种部署方式。推荐使用镜像部署。因为镜像部署提供了更高的灵活性和可维护性,而Processor部署在环境和框架存在较多限制。
三种部署方式
EAS 控制台提供以下三种部署方式。三种方式最终都提交同一份 JSON 服务配置,区别在于配置的生成方式。
部署方式 | 说明 | 适用场景 | 详细文档 |
场景化模型部署 | 基于预填模板,仅需修改少量参数。 | 部署主流模型或工具(OpenClaw、LLM、RAG 等),快速上线。 | |
自定义部署 | 在控制台表单中填写配置,由控制台生成 JSON。 | 单个服务的交互式部署,覆盖大部分常用配置。 | |
JSON独立部署 | 直接编辑完整 JSON 配置。 | 批量或版本化部署、CI/CD 集成,或使用控制台未提供的配置项。 |
JSON配置还可以通过eascmd客户端工具或 PAI Python SDK进行部署。
重要配置项
部署服务时,除了选择部署方式,通常还需要配置以下内容:
计算资源:选择资源类型、配置系统盘等。详情请参见资源配置。
存储挂载:将模型文件和数据从 OSS、NAS 等外部存储挂载到服务容器。详情请参见存储挂载。
网络访问:配置服务的网络环境,如专有网络 VPC、公网访问等。详情请参见EAS访问公网或内网资源。
动态参数:为服务配置可在运行时动态更新的键值对,无需重启即可调整推理行为。详情请参见配置动态参数。
常见问题
Q:百炼平台训练的模型如何部署到 PAI-EAS?
百炼平台的模型不支持直接导出到 PAI-EAS 部署。