AIACC-Inference(AIACC推理加速)支持优化基于TensorFlow搭建的图像分类和检测模型,可以显著提升推理性能。本文介绍手动安装和使用AIACC-Inference(AIACC推理加速) TensorFlow版的流程。

前提条件

  • 已创建阿里云GPU实例:
    • 实例规格:配备NVIDIA P100、V100或T4 GPU
    • 实例镜像:Ubuntu 18.04、Ubuntu 16.04、CentOS 8.x或CentOS 7.x
  • GPU实例已安装:
    • Python 3.6
    • CUDA 10
    • cuDNN 7.4或以上版本
    • TensorFlow 1.14
    • TensorRT 5或者6

背景信息

为了使用AIACC-Inference(AIACC推理加速) TensorFlow版加速推理,您需要调用AIACC-Inference(AIACC推理加速) TensorFlow版的接口优化模型。具体操作,请参见使用AIACC-Inference(AIACC推理加速) TensorFlow版

操作步骤

  1. 远程连接实例
  2. 安装AIACC-Inference(AIACC推理加速) TensorFlow版。
    pip3 install AIACC-Inference-TF-1.3.1-py3-none-any.whl