AIACC-Inference(AIACC推理加速)支持优化基于TensorFlow和可导出ONNX格式的框架搭建的模型,能显著提升推理性能。本文介绍如何自动安装AIACC-Inference(AIACC推理加速)并测试demo。

背景信息

Conda是一款开源跨平台的软件包和环境管理系统,Miniconda是一款小巧的Conda环境部署工具。创建GPU实例时支持自动安装包含AIACC-Inference(AIACC推理加速)的Conda环境,您可以使用Miniconda快速选择不同的Conda环境,并通过AIACC-Inference(AIACC推理加速)显著提升推理性能。

ONNX是一种开放式的文件格式,用于存储训练好的模型。通过ONNX可以将不同框架(例如Pytorch、MXNet)的模型数据存储成统一的格式,便于在同一环境下测试不同框架的模型。

自动安装AIACC-Inference(AIACC推理加速)

AIACC-Inference(AIACC推理加速)依赖GPU驱动、CUDA和cuDNN,请在创建GPU实例时,选中安装GPU驱动AIACC推理加速,然后选择CUDA、Driver和cuDNN的版本。GPU实例创建完成后,您可以根据CUDA版本快速配置包含AIACC-Inference(AIACC推理加速)的Conda环境。创建GPU实例的具体操作,请参见创建配备GPU驱动的GPU实例(Linux)aiacc-推理

测试demo

  1. 远程连接实例
  2. 选择Conda环境。
    1. 初始化Miniconda。
      . /root/miniconda/etc/profile.d/conda.sh
    2. 查看已有的Conda环境列表。
      conda env list
      示例如下图所示。aiacc-inference-envlist
    3. 选择Conda环境。
      conda activate [environments_name]
      示例如下图所示。aiacc-training-activate
  3. 测试demo。
    demo文件aiacc_inference_demo.tgz默认位于/root下,本文以测试ONNX的demo为例。
    1. 解压demo测试包。
      tar -xvf aiacc_inference_demo.tgz
    2. 进入ONNX的demo目录。
      cd /root/aiacc_inference_demo/aiacc_inference_onnx/resnet50v1
    3. 执行目录下的测试脚本。
      示例命令如下:
      python3 test.py
      该测试脚本基于ResNet50模型执行推理任务,随机生成一张图像并分类,将推理耗时从6.4 ms降低至1.5 ms以内。推理结果示例如下图所示。onnx-demo

删除Miniconda

如果您不需要使用AIACC-Inference(AIACC推理加速),可以删除Miniconda。默认为root用户安装Miniconda,为root用户删除Miniconda即可。

  1. 删除miniconda文件夹。
    rm -rf /root/miniconda
  2. 删除相关环境变量和回显。
    1. 修改文件/root/.bashrc,注释Miniconda、AIACC-Inference(AIACC推理加速)相关的环境变量和回显。
      示例如下图所示。bashrc-file
    2. 使环境变量修改生效。
      source /root/.bashrc