获得训练好的模型后,您可以使用EAS的命令行方式快速将其部署为模型在线服务。本文为您介绍如何使用EASCMD部署服务。
本地客户端(EASCMD)部署
通过客户端工具EASCMD,您可以在自己服务器上对模型服务进行管理,包括创建、查看、删除及更新服务。创建服务时支持配置多规格实例,详情请参见高级配置:多规格实例选择。以Linux64版本为例,说明如何使用EASCMD客户端部署服务,具体操作步骤如下。
一、下载并认证客户端
如果您使用的是DSW开发环境并使用官方镜像,则已预置EASCMD客户端(路径:/etc/dsw/eascmd64
),否则请下载并认证客户端。
二、JSON配置文件准备
关于如何配置JSON文件中的服务部署参数,详情请参见模型服务配置全参数说明。
示例文件service.json
内容如下。
{
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c7a.large"
}
]
}
},
"containers": [
{
"image": "****-registry.cn-beijing.cr.aliyuncs.com/***/***:latest",
"port": 8000,
"script": "python app.py"
}
],
"metadata": {
"cpu": 2,
"instance": 1,
"memory": 4000,
"name": "demo"
}
}
说明
如果您使用的是DSW开发环境,需要上传JSON配置文件,请参见上传与下载数据文件。
三、部署服务
在JSON文件所在目录,执行以下命令部署服务。以Linux系统为例。更多操作请参见命令使用说明。
eascmdwin64 create <service.json>
其中:<service.json>需要替换为实际的JSON文件名称。
系统返回如下类似结果。
[RequestId]: 1651567F-8F8D-4A2B-933D-F8D3E2DD****
+-------------------+----------------------------------------------------------------------------+
| Intranet Endpoint | http://166233998075****.cn-shanghai.pai-eas.aliyuncs.com/api/predict/test_eascmd |
| Token | YjhjOWQ2ZjNkYzdiYjEzMDZjOGEyNGY5MDIxMzczZWUzNGEyMzhi**** |
+-------------------+--------------------------------------------------------------------------+
[OK] Creating api gateway
[OK] Building image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Pushing image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Service is running
相关文档
服务部署完成后,您可以到模型在线服务(EAS)页面查看模型部署情况,并管理模型服务,详情请参见管理EAS模型在线服务。
EAS在线服务支持多种部署方式,您可以根据不同的使用场景,选择合适的部署方式,详情请参见服务部署概述。
服务部署完成后,您可以通过自动压测工具,对部署的服务进行压测,从而了解EAS服务的使用性能。详情请参见服务自动压测。
如果EAS提供的官方通用Processor无法满足模型部署需求,则可以根据Processor的开发标准自定义Processor,详情请参见服务部署:自定义Processor。
该文章对您有帮助吗?