本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。
EAS支持将从开源社区下载的模型或您自己训练获得的模型部署为推理服务或AI-Web应用。针对不同方式获取的训练模型,EAS支持不同的部署方式。此外,EAS还提供了一系列针对特定场景的部署方式,您可以通过控制台快速将其部署为API服务。本文介绍如何使用控制台方式部署及管理服务。
前提条件
已获得训练好的模型。
背景信息
控制台上传部署
在模型在线服务页面,可直接将训练完成的模型或开源公共模型部署为在线服务。
步骤一:进入PAI-EAS模型在线服务页面
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
在工作空间页面的左侧导航栏选择 ,进入PAI-EAS 模型在线服务页面。
步骤二:选择部署方式
在推理服务页签,单击部署服务。
在选择部署方式对话框中,选择部署方式后,单击确定。
支持以下两种部署方式:
自定义部署(默认):提供更灵活的部署方式。支持通过Processor的形式,或镜像、模型、代码、运行命令和三方库的方式,将您自己的模型部署为在线服务。具体的参数配置说明,请参见自定义部署方式参数配置说明。
场景化模型部署:针对相对通用的部署场景,提供以下部署方式,关于各个场景的参数配置说明,请参见场景化部署方式参数配置说明。
ModelScope模型部署:一键部署ModelScope开源模型,快速启动模型服务。
HuggingFace模型部署:一键部署HuggingFace开源模型,快速启动模型服务。
Triton部署:利用基于Trition Server的推理服务引擎,将TensorRT、TensorFlow、PyTorch或ONNX等多种AI框架的模型一键部署为在线推理服务。
TFServing部署:利用基于TensorFlow Serving的推理服务引擎,将Tensorflow标准的SavedModel格式的模型一键部署为在线推理服务。
AI绘画-SDWebUI部署:一键部署基于开源SDWebUI绘画的AIGC服务,提供Web应用和API调用两种部署方式,通过用户与计算资源分离实现企业级应用。
LLM大语言模型部署:一键部署开源大模型或自己微调训练得到的模型,通过Blade内置推理加速,实现简单的部署方式及较高性价比的推理方案。
步骤三:部署服务
请参考以下内容,根据您选择的部署方式配置相应的参数。参数配置完成后,单击部署。等待一段时间,当服务状态变为运行中,表明服务部署成功。
自定义部署方式参数配置说明
在部署服务页面,选择服务类型。
支持以下服务类型,您可以根据使用场景,选择一种类型。
服务类型
描述
新建服务
表示新部署一个服务。
更新服务
为已有的运行中的服务更新服务版本,您可以通过切换版本功能自由切换线上版本。
服务群组
表示新创建的服务归属于一个服务群组。如果没有服务群组,您可以新建一个服务群组,详情请参见服务分组。
服务群组拥有统一的流量入口,您可以根据不同的使用场景分配子服务承载的流量。
新增蓝绿部署
为已有运行中的服务新增一个关联服务,且两个服务完全独立。您可以对两个服务进行流量分配,待关联服务完全运行正常之后,您可以将当前服务的流量完全切换到关联服务,实现当前服务到关联服务的平滑切换。
在模型服务信息区域,配置参数。
服务名称:仅上述步骤中选择了新建服务或服务群组,才需要自定义服务名称。当选择了其他两种服务类型时仅需要选择已部署的模型服务。
所属群组:仅上述步骤中选择了服务群组,才需要配置。支持以下两种配置方式:
新建群组:创建服务时,新建服务群组。
加入群组:创建服务时,选择已创建的服务群组,服务创建成功后,加入该服务群组中。
部署方式:支持镜像部署服务、镜像部署AI-Web应用、模型+processor部署服务三种部署方式。
说明在复杂的模型推理场景中,例如AIGC、视频处理等场景,推理耗时比较长,需要打开异步服务开关,实现异步推理服务,详情请参见异步推理服务。仅当部署方式选择镜像部署服务和模型+processor部署服务时,支持开启异步服务。
镜像部署服务:如果您想通过镜像、代码及模型挂载的方式快速进行AI推理服务的部署,则选择该部署方式。
镜像部署AI-Web应用:如果您想通过镜像、代码及模型挂载的方式快速进行AI-Web应用的部署,则选择该部署方式。
模型+processor部署服务:如果您想通过模型和Processor(包括预置Processor和自定义Processor)进行AI推理服务的部署,则选择该部署方式。
镜像/镜像AI-Web部署
部署方式选择镜像部署服务和镜像部署AI-Web应用时,参数配置如下表所示:
参数
描述
镜像选择
支持以下几种配置方式:
填写模型配置
单击填写模型配置,来进行模型配置。支持通过以下三种方式配置模型文件。
填写代码配置
单击填写代码配置,进行代码配置,支持使用以下几种挂载方式,来读取服务部署过程依赖的代码数据。
OSS挂载
配置OSS源地址路径,即选择OSS Bucket路径。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取OSS路径中的文件。
NAS挂载
NAS挂载点:配置NAS挂载点地址,EAS服务通过挂载点来访问NAS文件系统。
NAS源路径:需要挂载的NAS中的源路径。
挂载路径:挂载服务实例中的目标路径,用来读取NAS路径中的文件。
Git挂载
Git地址:配置Git代码地址。
挂载路径:挂载服务实例中的目标路径,用来读取Git代码地址中的代码文件。
PAI数据集挂载
选择已创建的数据集,如果没有数据集,您可以单击新建数据集来创建一个新的数据集。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取PAI数据集。
PAI代码挂载
选择已创建的代码集,如果没有代码集,您可以单击新建代码配置来创建一个新的代码集。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取PAI代码集。
填写三方库配置列表
单击填写三方库配置列表来配置三方库。支持以下两种方式配置第三方库。
三方库列表:直接在下方文本框中输入三方库。
requirements.txt文件目录:将第三方库写入requirements.txt文件中,在下方文本框中指定该requirements.txt文件的路径。
填写环境变量
单击填写环境变量来配置环境变量。
配置Name和Value:
Name:镜像执行时的环境变量名称。
Value:镜像执行时的环境变量取值。
运行命令
镜像的启动命令,例如:
python /run.py
。同时您需要输入端口号,即镜像启动后监听的本地HTTP端口。
重要由于EAS引擎监听固定的8080和9090端口,因此端口需要避开8080和9090端口。
模型+processor部署
部署方式选择模型+processor部署服务时,参数配置如下表所示:
参数
描述
模型文件
您可以通过以下任何一种方式配置模型文件:
OSS挂载
选择模型文件所在的OSS路径。
上传数据
选择当前地域下的OSS路径。
单击查看本地文件或拖拽上传文件,并根据提示上传本地模型文件。
公网下载地址
单击公网下载地址,并在下方文本框中输入可以公开访问的URL地址。
模型选择
根据模型名称和模型版本选择已注册的模型。关于如何查看已注册的模型,详情请参见注册及管理模型。
Processor种类
支持所有的预置官方Processor和自定义Processor,关于预置官方Processor的更多信息,详情请参见预置Processor使用说明。
模型类别
当Processor种类选择EasyVision(CPU)、EasyVision(GPU)、EasyTransfer(CPU)、EasyTransfer(GPU)、EasyNLP、EasyCV时,支持配置该参数。上述每个Processor种类对应的模型类别不同,请根据业务使用场景选择。
Processor语言
当Processor种类选择自定义processor时,支持配置。
支持选择cpp、java及python。
Processor包
当Processor种类选择自定义processor时,支持配置。您可以通过以下任何一种方式配置Processor包:
本地上传:
单击本地上传。
选择当前地域下的OSS Bucket路径。
单击查看本地文件或拖拽上传文件,并根据提示上传已下载的Processor文件。
系统会将文件上传至当前地域的官方OSS路径,并自动配置Processor包。
说明通过本地上传的方式,可以使系统在模型部署时,快速加载Processor。
OSS文件导入。
单击OSS文件导入,并选择文件所在的OSS路径。
公网下载地址。
单击公网下载地址,并在下方文本框中输入可以公开访问的URL地址。
Processor主文件
当Processor种类选择自定义processor时,支持配置。自定义Processor包的主文件。
填写挂载配置
单击填写挂载配置,进行挂载配置,支持以下几种挂载方式。
OSS挂载
配置OSS源地址路径,即选择OSS Bucket路径。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取OSS路径中的文件。
NAS挂载
NAS挂载点:配置NAS挂载点地址,EAS服务通过挂载点来访问NAS文件系统。
NAS源路径:需要挂载的NAS中的源路径。
挂载路径:挂载服务实例中的目标路径,用来读取NAS路径中的文件。
PAI数据集挂载
选择已创建的数据集,如果没有数据集,您可以单击新建数据集来创建一个新的数据集。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取PAI数据集。
PAI代码挂载
选择已创建的代码集,如果没有代码集,您可以单击新建代码配置来创建一个新的代码集。
配置挂载路径,即配置挂载服务实例中的目标路径,用来读取PAI代码集。
填写环境变量
单击填写环境变量来配置环境变量。
配置Name和Value:
Name:镜像执行时的环境变量名称。
Value:镜像执行时的环境变量取值。
在资源部署信息区域,配置参数。
参数
描述
资源组种类
支持选择公共资源组或已购买(创建)的专属资源组。如何购买专属资源组,详情请参见使用专属资源组。
说明建议在任务量相对较少、对任务时效性要求不高的场景下使用公共资源组。
实例数
建议配置多个服务实例,以避免单点部署带来的风险。
当资源组种类选择专属资源组时,您需要为每个服务实例配置CPU、内存(MB)和GPU参数。
资源配置方法
仅资源组种类选择公共资源组时,支持配置该参数。支持以下两种配置方式:
常规资源配置
支持选择单个CPU或GPU实例规格。
如果您领取了免费资源包,支持在西南1(成都)、华南2(河源)、华南1(深圳)地域,使用试用活动页签的免费机型,详情请参见新用户免费试用额度。
性价比资源配置
弹性资源池
仅资源组种类选择专属资源组时,支持配置该参数。
您可以打开开启弹性资源池开关并参考资源配置方法进行公共资源配置,为部署在专属资源组中的服务开启弹性资源池能力。
弹性资源池配置完成后,当服务扩容时遇到机器资源不足时,新扩出来的实例会自动启动在已配置的按量付费的公共资源上,并以公共资源组的方式来进行计费;在缩容时会优先缩掉公共资源组中的服务实例。
系统盘配置
仅资源组种类选择公共资源组时,支持配置该参数。
单击系统盘配置,为EAS服务配置额外系统盘,单位为GB,取值范围为0~2000 GB。EAS免费赠送30 GB系统盘,如果此处配置20 GB,则实际可用的存储空间为:
免费的30 GB+购买的20 GB=50 GB
。额外购买的系统盘按容量和使用时长计费,计费详情请参见EAS计费说明。
可选:在专有网络配置区域,配置VPC、交换机和安全组名称参数,为部署在公共资源组中的EAS服务开通VPC高速直连。
网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。
在对应配置编辑区域,显示服务配置的相关信息。您可以根据需要补充一些在界面不支持配置的配置项,详情请参见创建服务。
场景化部署方式参数配置说明
以下是您所选部署场景的参数配置说明:
ModelScope模型部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
选择模型 | 在下拉列表中选择一种可直接部署的ModelScope模型类型。关于各模型更详细的内容介绍,请参见ModelScope官网。 | |
模型版本 | 在下拉列表中选择模型版本。默认为最新版本。 | |
模型类别 | 选择模型后,系统将自动为您匹配相应的模型类别。 | |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
HuggingFace模型部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
模型ID | 配置HuggingFace模型ID,例如 | |
模型类别 | 配置HuggingFace模型类别,例如text-classification。您可以参照步骤一找到部署EAS服务时所需的模型类别(TASK)。 | |
模型版本 | 配置HuggingFace模型版本,例如main。您可以参照步骤一查找模型版本。 | |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
Triton部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
模型配置 | Triton部署模型需符合特定结构要求,请参照Triton Server镜像部署进行准备。模型准备就绪后,您可以通过以下任意一种方式选择模型配置: | |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
TFServing部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
部署方式 | 支持以下两种部署方式:
| |
模型配置 | TFServing部署模型需符合特定结构要求,请参照TensorFlow Serving镜像部署进行准备。
| |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
AI绘画-SDWebUI部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
版本选择 | 支持选择以下三种版本:
| |
填写模型配置 | 如果您想使用自行下载的开源模型、微调训练获得的模型,或者您需要保存输出数据到您自己的数据源中、需要进行一些第三方的配置和插件安装等。可以单击填写模型配置,进行配置。支持以下两种配置方式: | |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。推荐使用ml.gu7i.c16m60.1-gu30机型(性价比最高)。如果该机型售罄,可以选择其他机型。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
LLM大语言模型部署
参数 | 描述 | |
模型服务信息 | 服务名称 | 参照界面提示自定义配置服务名称。 |
模型来源 | 模型来源如下:
| |
模型配置 | 当模型来源选择自持微调模型时,需要配置该参数。 支持以下三种挂载方式:
| |
模型类别 | 选择模型类别。 | |
实例数 | 默认为1。建议配置多个服务实例,以避免单点部署带来的风险。 | |
资源配置选择 | 选择部署服务所需的实例规格。仅支持使用公共资源组。推荐使用ml.gu7i.c16m60.1-gu30机型(性价比最高)。如果该机型售罄,可以选择其他机型。 | |
专有网络配置 | VPC | 通过配置专有网络,为部署在公共资源组中的EAS服务开通VPC高速直连。 网络连通后,该VPC环境中的ECS服务器等即可通过创建的弹性网卡访问部署在公共资源组中的EAS服务,同时EAS服务也可以访问VPC环境中的其他云产品。 |
交换机 | ||
安全组名称 |
管理EAS模型在线服务
您可以在PAI-EAS 模型在线服务页面的推理服务页签,查看已部署的服务列表,并对目标服务进行停止、启动、删除等操作。
停止或删除模型服务,会导致依赖该服务的相关请求失败,请谨慎操作。
查看服务详情
单击目标服务名称,进入服务详情页面。在该页面查看服务基本信息、服务实例和服务配置等。
在服务详情页面上方,您可以切换至不同的功能页签,以查看服务监控、日志、部署事件等信息。
更新服务资源配置
在服务详情页面,单击资源信息区域的资源配置。在资源配置更新服务运行的资源,配置方法请参见控制台上传部署。
更新已有服务版本
在推理服务列表中,单击目标服务操作列下的更新服务,参考控制台上传部署配置方法,来更新服务版本。
警告服务更新时,会运行中断,会导致依赖该服务的相关请求失败,请谨慎操作。
服务更新完成后,单击当前版本,查看版本信息或切换服务版本。
扩缩容
在推理服务列表中,单击目标服务操作列下的扩缩容,配置实例数,来提高或减少指定模型服务占用的资源。
弹性伸缩
根据业务需求,自动调整EAS模型在线服务占用的资源,具体操作,请参见方式一:通过控制台管理水平自动扩缩容功能。
切换流量
参照下图操作指引,为蓝绿部署服务切换流量。
相关文档
服务部署成功后,您可以通过在线调试功能,来测试服务运行是否正常,详情请参见服务在线调试。
场景化模型部署成功后,您可以调用该服务来验证模型效果,详情请参见EAS使用案例汇总。
关于EAS其他的部署方式,请参见服务部署:Designer或服务部署:EASCMD&DSW。
部署服务、管理服务等EAS相关API,详情请参见EAS。
- 本页导读 (1)