本文介绍通过函数计算服务(Serverless服务)来部署AI推理(CPU密集型)服务的最佳实践。

场景描述

通过函数计算服务(Serverless服务)来部署AI推理(CPU密集型)服务,达到快速部署、提升工程效率、弹性伸缩免运维、降低成本的目的。

解决的问题

  • 如何使用函数计算部署AI推理服务
  • 如何进行函数的压测

部署架构图

FC-AI

选用的产品

  • 函数计算

    函数计算(Function Compute)是一个事件驱动的全托管 Serverless 计算服务。您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,并以弹性、可靠的方式运行您的代码。

    更多关于函数计算的介绍,参见函数计算产品详情页

  • 文件存储NAS

    阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC,AI训练PAI等计算业务上提供高性能的共享存储,用户无需修改应用程序,即可无缝迁移业务系统上云。

    更多关于文件存储NAS的介绍,参见文件存储NAS产品详情页

  • 性能测试 PTS

    PTS(Performance Testing Service)是面向所有技术背景人员的云化测试工具。有别于传统工具的繁复,PTS以互联网化的交互,提供性能测试、API调试和监测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务的场景,任务随时发起,免去繁琐的搭建和维护成本。更是紧密结合监控、流控等兄弟产品提供一站式高可用能力,高效检验和管理业务性能。

    更多关于性能测试 PTS的介绍,参见性能测试 PTS产品详情页

详细信息

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践