全部产品
云市场

EAS整体介绍

更新时间:2020-02-14 15:07:15

概述

在线预测服务部署是将算法模型应用至实际业务的重要环节。为了帮助用户更好的实现一站式端到端的算法应用,PAI平台针对在线推理场景提供了PAI EAS(Elastic Algorithm Service)在线预测服务,支持基于异构硬件(CPU/GPU)的模型加载和数据请求的实时响应。

您可以通过在线部署功能将您的模型快速部署为Restful API,然后使用HTTP请求的方式进行调用。同时我们提供的弹性扩缩、蓝绿部署等特性可以支撑您以最低的资源成本获取高并发、稳定的在线算法模型服务。此外EAS还提供了包含资源组管理、版本控制、资源监控等功能,可以方便地让你的模型直达业务。除了公有云的提供形式,PAI-EAS也可支持专有云输出。

价格与计费

公共云上整体通过资源占用量收费。PAI-EAS提供将模型服务部署在公共资源组和专属资源组上两种方式。在公共资源组中按照每个模型服务占用的资源计量计费,在专属资源组中根据资源组管理的机器资源包年包月/按量付费。

价格、计费细则及计费举例请见文档PAI-EAS计费

支持区域

目前公共云支持区域:

华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、新加坡、德国(法兰克福)、印度(孟买)、印度尼西亚(雅加达)

名词解释

  1. 资源组:在EAS中,集群资源会被分为不同的资源组进行隔离,在新建模型服务的时候,用户可以选择部署在默认的公共资源组还是部署在用户自行购买创建的专属资源组中。
  2. 模型服务:模型文件+在线预测逻辑部署成的常驻服务,用户可以对模型服务进行创建、更新、停止、启动、扩缩容等操作。
  3. 模型文件:指您通过离线训练得到的离线模型,基于不同的框架会得到不同的模型格式,通常和Processor一起部署得到模型服务。
  4. Processor:Processor是包含在线预测逻辑的程序包,通常和模型文件一起部署得到模型服务,EAS已经针对常用的PMML、TensorFlow(SavedModel)、Caffe模型提供了内置的官方Processor。
  5. 自定义processor:EAS内置Processor无法覆盖到用户所有的服务部署需求,可通过自定义processor进行更灵活的拓展,EAS支持通过C++/Java/Python开发自定义processor进行部署。
  6. 服务实例:每个服务可以部署多个服务实例以提升服务可支持的并发请求,如果资源组中有多台机器资源,EAS会自动将不同实例分布到不同机器上以更好的保障服务高可用性。
  7. 高速直连:在用户的专属资源组和用户自有VPC打通之后,用户可以在自有VPC中通过客户端直接访问服务的每个单独的实例。

资源组管理

除了将模型部署到EAS提供的公共资源池之外,EAS还支持您新建和管理自己的资源组,更多资源组管理文档请查看资源组使用介绍

模型部署方式

部署服务管理

PAI-EAS控制台页面您可以对您的模型服务进行管理包括:
查看模型调用信息
在线调试
查看日志、监控、服务部署相关信息
服务扩缩容,服务启动/停止,服务删除

EASCMD

为了让更多环境的开发者使用便捷的模型服务部署功能,服务部署相关的全部操作也都可以用EASCMD进行操作,查看EASCMD使用手册

其他相关事项

注意

  • 部署服务后需要公网地址访问,需要开通阿里云API网关服务,费用详情请访问API网关定价
  • 需要公网地址访问的服务需要在API网关中绑定自己的域名,否则通过公网地址调用会有每天1000次调用的限制,详情查看公网地址调用