为实现一站式算法应用,PAI针对在线推理场景提供了在线预测服务PAI-EAS(Elastic Algorithm Service),支持基于异构硬件(CPU和GPU)的模型加载和数据请求的实时响应。

通过PAI-EAS,您可以将模型快速部署为RESTful API,再通过HTTP请求的方式调用该服务。PAI-EAS提供的弹性扩缩和蓝绿部署等功能,可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。同时,PAI-EAS还提供了资源组管理、版本控制及资源监控等功能,便于将模型服务应用于业务。

计费

PAI-EAS支持将模型服务部署在公共资源组或专属资源组。公共资源组中,根据每个模型服务占用的资源量计费。专属资源组中,根据资源组管理的服务器资源包年包月或按量计费。PAI-EAS的定价和计费规则请参见PAI-EAS计费说明

地域

PAI-EAS支持的地域包括华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、中国(香港)、新加坡(新加坡)、印度尼西亚(雅加达)、印度(孟买)及德国(法兰克福)。

名词解释

名词 描述
资源组 PAI-EAS将集群资源分为不同的资源组进行隔离,创建模型服务时,您可以选择将其部署在默认的公共资源组或自己额外购买的专属资源组。
模型服务 模型文件和在线预测逻辑部署成的常驻服务。您可以对模型服务进行创建、更新、停止、启动、扩容及缩容操作。
模型文件 通过离线训练获得的离线模型。基于不同框架会得到不同格式的模型,通常与Processor一起部署,从而获得模型服务。
Processor 包含在线预测逻辑的程序包,通常与模型文件一起部署,从而获得模型服务。针对常用的PMML、TensorFlow(Saved Model)及Caffe模型,PAI-EAS提供了预置的官方Processor。
自定义processor PAI-EAS预置Processor无法满足所有的服务部署需求,您可以通过自定义Processor,实现更灵活地服务部署。PAI-EAS支持通过C++、Java或Python开发自定义Processor。
服务实例 每个服务可以部署多个服务实例以提高能够支持的并发请求数。如果资源组中有多台服务器资源,PAI-EAS会自动将不同实例分布至不同服务器,从而更好地保障服务高可用性。
高速直连 专属资源组和您自己的VPC连通后,在VPC中,可以通过客户端直接访问服务的每个实例。

资源组管理

PAI-EAS不仅支持将模型部署至系统提供的公共资源组,而且支持用户创建并管理自己的专属资源组,详情请参见专属资源组

模型部署方式

PAI-EAS支持的服务部署方式包括控制台上传模型、PAI-Studio一键部署、PAI-DSW部署及本地客户端部署,详情请参见服务部署

模型服务管理

在PAI-EAS控制台页面,您可以管理模型服务:
  • 查看模型调用信息。
  • 在线调试。
  • 查看日志、监控及服务部署相关信息。
  • 扩容、缩容、启动、停止及删除模型服务。

EASCMD

为了让更多环境的开发者使用便捷的模型服务部署功能,PAI-EAS支持通过EASCMD方式完成服务部署的所有操作,详情请参见EASCMD客户端使用说明

相关说明

  • 使用公网地址访问已部署的模型服务,需要开通阿里云API网关服务,其计费详情请参见计费概述
  • 使用公网地址访问的服务,必须在API网关中绑定自己的域名,否则每天调用服务的次数不能超过1000次。