模型训练完成后,您可以通过EAS(Elastic Algorithm Service)快速部署为在线推理服务或AI-Web应用。EAS支持异构资源,结合自动扩缩容、一键压测、灰度发布、实时监控等能力,以更低成本保障高并发场景下的服务稳定性与业务连续性。
EAS产品架构
地域限制
EAS支持的地域包括华北2(北京)、华东2(上海)、华东1(杭州)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、华南2(河源)、华南3(广州)、西南1(成都)、中国(香港)、日本(东京)、新加坡、印度尼西亚(雅加达)、美国(硅谷)、美国(弗吉尼亚)及德国(法兰克福)。
计费说明
请参见模型在线服务(EAS)计费说明。
使用流程
步骤1:准备工作
步骤2:部署服务
在部署工具维度上:EAS支持通过界面化或命令行方式部署服务和管理服务,不同工具的部署流程和操作要点存在差异。
操作类型
界面化方式
命令行方式
部署服务
管理服务
模型在线服务页面的推理服务页签管理EAS模型在线服务。
包括:
查看模型调用信息。
查看日志、监控及服务部署相关信息。
扩容、缩容、启动、停止及删除模型服务。
通过EASCMD方式管理模型服务,详情请参见命令使用说明。
在部署方式上:EAS支持镜像方式部署(推荐)和Processor方式部署。区别请参见部署原理。
部署类型
对比介绍
参考文档
镜像部署服务(推荐)
可通过镜像保障模型开发训练环境与部署运行环境的一致性。
典型场景已为您预置了很多官方镜像,您可使用官方预置镜像一键部署。
也支持自定义镜像部署,无需进行部署的工程化改造,部署便捷。
processor部署服务
EAS为您提供了常见模型框架的预置Processor,例如PMML、XGBOOST等,通过EAS预置的Processor可以快速启动服务,但可能无法满足特定的业务需求。
您还可以构建自定义Processor,以实现更为灵活的业务逻辑处理。
步骤3:调用与压测服务
步骤4:监控服务与服务扩缩容
服务运行正常后,您可以开通服务监控报警来监控服务资源的使用情况。
也可以开启水平或定时自动扩缩容功能,来实时动态管理线上服务的计算资源。
步骤5:异步推理服务
对于推理耗时相对较长的使用场景需要使用队列服务和异步推理功能。当请求较多时,您可以创建队列服务,将请求存储到队列服务中,请求处理完成后会将结果输出到输出队列,通过异步查询返回结果,避免请求较多未处理完成被丢弃。同时,EAS支持通过多种方式向队列服务发送请求数据,并通过监控队列中积压的数据数量来实现推理服务的自动扩缩容,从而有效控制推理服务实例的数量。更多关于异步推理服务的介绍,请参见异步推理服务。
相关文档
EAS的更多使用案例,详情请参见EAS使用案例汇总。
PAI提供了交互式建模(DSW)服务,是为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型,详情请参见DSW概述。
PAI提供了可视化建模(Designer)服务,支持大规模分布式的传统机器学习、深度学习、强化学习训练,支持流批一体训练,该子模块封装了上百种机器学习算法,详情请参见Designer概述。
EAS相关API,详情请参见API概览。