实现基于弹性计算的AI推理

场景描述

本方案适用于使用GPU进行AI在线推理的场景。在推理之前，模型已经训练完成。比如，刷脸支付的时候，就是推理的一个过程。另外，图像分类、目标检测、语音识别、语义分析等返回结果的过程都是使用GPU进行AI在线推理的场景。

解决问题

• 使用GPU云服务器搭建推理环境。

• 使用容器服务Kubernetes版构建推理环境。

• 使用NAS存储模型数据。

• 使用飞天AI加速推理工具加速推理。

架构图

参考链接

有关基于弹性计算的AI推理的详情，请参见基于弹性计算的AI推理。