本文介绍基于弹性计算的AI推理的场景描述、解决问题、架构图及操作参考链接。

场景描述

本方案适用于使用GPU进行AI在线推理的场景。在推理之前,模型已经训练完成。比如,刷脸支付的时候,就是推理的一个过程。另外,图像分类、目标检测、语音识别、语义分析等返回结果的过程都是使用GPU进行AI在线推理的场景。

解决问题

  • 使用GPU云服务器搭建推理环境。
  • 使用容器服务Kubernetes版构建推理环境。
  • 使用NAS存储模型数据。
  • 使用飞天AI加速推理工具加速推理。

架构图

BP6

参考链接

有关基于弹性计算的AI推理的详情,请参见基于弹性计算的AI推理