获得训练好的模型后,您可以使用PAI-EAS快速将其部署为RESTful API,实现模型在线服务。针对不同方式获取的训练模型,PAI-EAS支持不同的部署方式,且支持为已部署的服务更新服务版本。本文介绍如何使用多种方式进行服务部署、更新服务版本及管理PAI-EAS模型在线服务。
前提条件
已获得训练好的模型。
背景信息
PAI-EAS支持以下多种部署方式,以满足您部署通过各种方式获取的训练模型的需求:
对于已经部署的服务,PAI-EAS支持通过以下方式对其增加服务版本:
- 通过控制台增加服务版本,详情请参见管理PAI-EAS模型在线服务。
- 通过本地客户端工具的
modify
命令,增加服务版本,详情请参见增加服务版本的命令。
控制台上传部署
在PAI EAS模型在线服务页面,可以直接上传训练完成的模型,并将其部署为在线模型服务。
本地客户端部署
PAI-DSW部署
管理PAI-EAS模型在线服务
- 更新已有服务版本
- 在PAI EAS 模型在线服务页面,单击目标服务操作列下的更新服务。
- 在部署服务页面,配置参数,具体配置方法请参见控制台上传部署。
- 单击部署。
- 部署完成后,从PAI EAS模型在线服务页面的当前版本列下的列表,选择需要切换的模型版本。
- 在线调试PAI-EAS模型在线服务
模型部署完成后,您可以在线调试服务。
- 在PAI EAS 模型在线服务页面,单击目标服务操作列下的在线调试。
- 在调试页面的在线调试请求参数区域,配置参数。
参数 描述 接口地址调用文档链接 系统自动填入,无需手动配置。 Token 系统自动填入,无需手动配置。 Request Body 输入数据(特征)。以心脏病预测案例的逻辑回归模型为例,Request Body信息如下。 [{"sex":0,"cp":0,"fbs":0,"restecg":0,"exang":0,"slop":0,"thal":0,"age":0,"trestbps":0,"chol":0,"thalach":0,"oldpeak":0,"ca":0}]
- 单击发送请求,即可在调试信息区域查看预测结果。
- 扩缩容
提高或减少指定模型服务占用的资源,具体操作如下:
- 在PAI EAS 模型在线服务页面,单击目标服务操作列下的扩缩容。
- 在扩缩容对话框,配置参数实例数、CPU和内存。
- 单击确定。
- 弹性伸缩
根据业务需求,自动调整PAI-EAS模型在线服务占用的资源。
- 在PAI EAS 模型在线服务页面,单击目标服务操作列下的弹性伸缩。
- 在自动弹性扩缩容设置对话框,配置参数:
参数 描述 最小实例数 自动弹性扩缩容的下界,支持设置的下限大于0。 最大实例数 自动弹性扩缩容的上界,支持设置的上限为300。 自动扩所容指标类型选择 默认值为QPS。 单实例的QPS伸缩阈值 当单实例的平均QPS大于伸缩阈值时,会触发伸缩。 - 单击开启。
- 删除PAI-EAS模型在线服务
注意 删除后的服务将无法恢复,请您谨慎操作。
- 在PAI EAS 模型在线服务页面,单击目标服务操作列下的删除。
- 在您确定要这么做吗对话框,单击确认。