基于弹性计算的AI推理

直达最佳实践

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践。

场景描述

本方案适用于使用GPU进行AI在线推理的场景。在推理之前，模型已经训练完成。例如刷脸支付中，我们在刷脸的时候，就是推理的一个过程。再比如图像分类，目标检测，语音识别，语义分析等返回结果的过程。

解决的问题

• 使用GPU云服务器搭建推理环境。
• 使用容器服务Kubernetes版构建推理环境。
• 使用NAS存储模型数据。
• 使用飞天AI加速推理工具加速推理。

部署架构图