服务部署:EASCMD

获得训练好的模型后,您可以使用EAS的命令行方式快速将其部署为模型在线服务。本文为您介绍如何使用EASCMD部署服务。

本地客户端(EASCMD)部署

通过客户端工具EASCMD,您可以在自己服务器上对模型服务进行管理,包括创建、查看、删除及更新服务。创建服务时支持配置多规格实例,详情请参见高级配置:多规格实例选择。以Linux64版本为例,说明如何使用EASCMD客户端部署服务,具体操作步骤如下。

一、下载并认证客户端

如果您使用的是DSW开发环境并使用官方镜像,则已预置EASCMD客户端(路径:/etc/dsw/eascmd64),否则请下载并认证客户端

二、JSON配置文件准备

关于如何配置JSON文件中的服务部署参数,详情请参见模型服务配置全参数说明

示例文件service.json内容如下。

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c7a.large"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "****-registry.cn-beijing.cr.aliyuncs.com/***/***:latest",
            "port": 8000,
            "script": "python app.py"
        }
    ],
    "metadata": {
        "cpu": 2,
        "instance": 1,
        "memory": 4000,
        "name": "demo"
    }
}
说明

如果您使用的是DSW开发环境,需要上传JSON配置文件,请参见上传与下载数据文件

三、部署服务

JSON文件所在目录,执行以下命令部署服务。以Linux系统为例。更多操作请参见命令使用说明

eascmdwin64 create <service.json>

其中:<service.json>需要替换为实际的JSON文件名称。

系统返回如下类似结果。

[RequestId]: 1651567F-8F8D-4A2B-933D-F8D3E2DD****
+-------------------+----------------------------------------------------------------------------+
| Intranet Endpoint | http://166233998075****.cn-shanghai.pai-eas.aliyuncs.com/api/predict/test_eascmd |
|             Token | YjhjOWQ2ZjNkYzdiYjEzMDZjOGEyNGY5MDIxMzczZWUzNGEyMzhi****                   |
+-------------------+--------------------------------------------------------------------------+
[OK] Creating api gateway
[OK] Building image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Pushing image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Service is running

相关文档

  • 服务部署完成后,您可以到模型在线服务(EAS)页面查看模型部署情况,并管理模型服务,详情请参见管理EAS模型在线服务

  • EAS在线服务支持多种部署方式,您可以根据不同的使用场景,选择合适的部署方式,详情请参见服务部署概述

  • 服务部署完成后,您可以通过自动压测工具,对部署的服务进行压测,从而了解EAS服务的使用性能。详情请参见服务自动压测

  • 如果EAS提供的官方通用Processor无法满足模型部署需求,则可以根据Processor的开发标准自定义Processor,详情请参见服务部署:自定义Processor