使用容器服务ACK+Arena工具+飞天AI加速工具搭建AI推理平台。

直达最佳实践

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践

场景描述

本方案适用于使用GPU进行AI在线推理的场景。在推理之前,模型已经训练完成。例如刷脸支付中,我们在刷脸的时候,就是推理的一个过程。再比如图像分类,目标检测,语音识别,语义分析等返回结果的过程。

解决的问题

  • 使用GPU云服务器搭建推理环境。
  • 使用容器服务Kubernetes版构建推理环境。
  • 使用NAS存储模型数据。
  • 使用飞天AI加速推理工具加速推理。

部署架构图

基于弹性计算的AI推理架构图