EAIS软件包说明

Python程序

您需要安装eais-torch whl软件包，安装前请确保您的运行环境中已安装了Python3以及pip3软件包。安装操作如下：

1. 执行如下命令，设置EAIS软件包和PyTorch软件包的版本号。

   设置软件包版本号后，后续步骤可自动获取该软件包版本号。

   重要

   • EAIS_PACKAGE_VERSION：EAIS软件包版本号，目前仅支持设置为4.2.4。

   • pytorch_VERSION：PyTorch软件包版本号，本文操作步骤以PyTorch 1.13.1为例。

   export EAIS_PACKAGE_VERSION=4.2.4
   export pytorch_VERSION=1.13.1

2. 下载并安装eais-torch whl软件包。

   pip3 install eais-torch${pytorch_VERSION}==${EAIS_PACKAGE_VERSION} \
     -f https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/index.html

3. 执行如下命令，查看eais-torch whl软件包安装结果。

   pip3 list | grep eais

   回显信息中包含eais-torch软件包信息，表示eais-torch whl软件包安装成功。

C++程序

1. 执行如下命令，设置EAIS软件包和libtorch软件包的版本号。

   设置软件包版本号后，后续步骤可自动获取该软件包版本号。

   重要

   • EAIS_PACKAGE_VERSION：EAIS软件包版本号，目前仅支持设置为4.2.4。

   • libtorch_VERSION：libtorch软件包版本号，本文操作步骤以libtorch 1.13.1为例。

   export EAIS_PACKAGE_VERSION=4.2.4
   export libtorch_VERSION=1.13.1

2. 获取软件包下载地址。

   EAIS提供以Pre-cxx11 ABI和cxx11 ABI方式编译生成的依赖于libtorch的软件包，包含libtorch的EAIS torch软件包下载地址如下：

   ECS实例操作系统	编译方式	软件包类型	EAIS软件包下载地址
   Ubuntu	Pre-cxx11 ABI	deb	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}_${EAIS_PACKAGE_VERSION}_amd64.deb
   	cxx11 ABI	deb	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
   CentOS或Alibaba Cloud Linux	Pre-cxx11 ABI	rpm	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm
   	cxx11 ABI	rpm	https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm

3. 下载并安装EAIS软件包。

   • ECS实例操作系统为Ubuntu

     以cxx11 ABI方式编译的依赖于libtorch的eais-torch deb软件包为例，操作如下：

     1. 执行如下命令，下载并安装eais-torch deb软件包。

        wget https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
        dpkg -i eais-torch${libtorch_VERSION}-cxx11-abi_${EAIS_PACKAGE_VERSION}_amd64.deb
        source /etc/profile

     2. 执行如下命令，查看eais-torch deb软件包安装结果。

        dpkg -l | grep eais-torch

        回显信息中包含eais-torch软件包信息，表示eais-torch deb软件包安装成功。

   • ECS实例操作系统为CentOS或Alibaba Cloud Linux

     以cxx11 ABI方式编译的依赖于libtorch的eais-torch rpm软件包为例，操作如下：

     1. 执行如下命令，下载并安装EAIS torch rpm软件包。

        wget https://eais-rel-pub.oss-cn-beijing.aliyuncs.com/packages/eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm
        rpm -ivh eais-torch${libtorch_VERSION}-cxx11-abi-${EAIS_PACKAGE_VERSION}-1.x86_64.rpm --nodeps
        source /etc/profile

     2. 执行如下命令，查看eais-torch rpm软件包安装结果。

        rpm -qa | grep eais-torch

        回显信息中包含eais-torch软件包信息，表示eais-torch rpm软件包安装成功。

Python程序

您需要在您的Python推理脚本中添加如下一行内容，eais-torch才会生效。

import eais.torch_eais

C++程序

假设您用于推理PyTorch模型的C++程序名称为my_program，且使用如下命令运行您的C++程序：

export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
./my_program my_model.pt

如果您需要使用EAIS推理您的PyTorch模型，您可以执行如下任意一种命令运行您的C++程序，运行过程中eais-torch自动生效：

• 命令一：

  export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
  LD_PRELOAD=libtorcheais.so ./my_program my_model.pt

• 命令二：

  export LD_LIBRARY_PATH=/your/lib/path:$LD_LIBRARY_PATH
  export LD_PRELOAD=libtorcheais.so
  ./my_program my_model.pt