PAI-PPU最佳实践

3.1 如何配置PPU pip源

• 使用阿里云PAI-PPU官方镜像：

  阿里云PAI-PPU官方镜像已经内置了PPU pip源并做了必要的鉴权配置，可以直接使用pip install安装。

  pip install <软件包名称>

• 使用自定义镜像：

  自定义镜像需要配置默认pip源，并注入必要的鉴权信息：

  export PIP_INDEX_URL="https://<pip_user>:<pip_password>@art-pub.eng.t-head.cn/artifactory/api/pypi/ptgai-pypi_ppu_<os_name>_<cuda_version>_index/simple/"
  export PIP_EXTRA_INDEX_URL="http://mirrors.cloud.aliyuncs.com/pypi/simple/"
  echo -e "machine art-pub.eng.t-head.cn\nlogin <pip_user>\npassword <pip_password>" >> ~/.netrc

  其中以下字段需要手动修改：

  • pip_user：PPU pip源用户名，请联系PAI PDSA获取。

  • pip_password：PPU pip源密码，请联系PAI PDSA获取。

  • os_name：当前镜像的操作系统类型，例如：ubuntu、alios。

  • cuda_version：当前镜像内置PPU SDK的CUDA兼容版本，例如：cu123、cu126等。

3.2 如何判断一个包是否需要使用PPU特定版本

若包的安装需要涉及CUDA编译，则需使用PPU-PIP包清单。常用判断逻辑如下：

1. 快速判断：最常见的需要PPU特定版本的软件包如下：

   torch、torchvision、tensorflow、vllm、sglang、flash-attn、transformer-engine、triton、mmcv、spconv、open3d。

2. 判断依据一：对应软件包的开源Readme包含关于当前开源库的简介，指出了当前库的功能，这可以作为最基本的判断条件。

3. 判断依据二：Github中的Languages中是否包含Cuda，如果Cuda含量很高，基本上可以判定为是一个Cuda相关的开源库；如果Cuda含量仅2%，需要结合其他判定条件进行判断。

   

4. 判断依据三：解压开源库对应的whl包，遍历全部文件是否包含.cu后缀。

   

   wget https://files.pythonhosted.org/packages/b8/92/fa66b0684c0eace3a480498e70ad40a0f3784890a25b480ae05fb8d7a458/lmdeploy-0.7.1-cp310-cp310-manylinux2014_x86_64.whl
   unzip lmdeploy-0.7.1-cp310-cp310-manylinux2014_x86_64.whl
   find ./ -name "*.cu" 

5. 判断依据四：解压开源库对应的whl包，遍历全部.so文件，判断文件名是否包含如"cuda"、"nv_fatbin"等关键信息。

   find ./ -name "*.so*" | xargs readelf -a | grep 'nv_fatbin'
   find ./ -name "*.so*" | xargs readelf -a | grep 'cuda'

   

3.3 PPU源里包含哪些包

PPU pip源中包含的软件包会随PPU SDK的更新而更新，可访问以下文档随时查看最新的软件包列表：PPU-PIP包清单。

其中软件包分为“优化版本”与“社区版本”两类：

• 优化版本：针对PPU做过性能优化的开源库安装包

• 社区版本：未做代码修改，在PPU SDK上编译的开源软件包

如果没有特殊要求，请优先选择“优化版本”以最大程度发挥PPU芯片的性能。

3.4 如果确定需要使用PPU特定包，但是PPU源里不存在应该怎么处理？

PAI-PPU兼容了CUDA和Triton的编程接口，对于不在PAI-PPU pip源中的软件包，大部分可通过参考软件自身的文档，采用Install from source方式安装。以SGLang为例，其官网提供的Install from source方式：https://docs.sglang.ai/start/install.html#method-2-from-source

# Use the last release branch
git clone -b v0.4.4.post1 https://github.com/sgl-project/sglang.git
cd sglang

pip install --upgrade pip
pip install -e "python[all]" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

使用ppu-training:1.4.3-pytorch2.5.1-ppu-py310-cu126-ubuntu22.04官方镜像，可正确编译并使用：

3.5 当使用PPU pip源，但是对应的依赖不在PPU源里，报依赖包不存在情况应该怎么处理？

PAI-PPU pip源自身具备upstream功能，会自动从公开的pip源中获取不具备的依赖包。如仍出现依赖包无法正常安装的情况，可采取如下手段处理：

1. 通过pip config list命令检查pip源是否正确配置

   

2. 参考3.3 PPU源里包含哪些包，确认所需的依赖包确实不在pip源中。

3. 参考3.4 如果确定需要使用PPU特定包，但是PPU源里不存在应该怎么处理？，手动安装所需的依赖包。

4. 如上述手段仍不能解决问题，请联系PAI PDSA。

3.6 如何在PAI中配置PPU Conda环境

由于PAI-PPU仅支持Python 3.10或3.8环境，因此请确保在conda create命令中加入python=3.10或python=3.8参数。

以准备一个Python 3.10 + PyTorch 2.4.0的环境为例：

conda create -n torch240 python=3.10
conda activate torch240

pip install torch==2.4.0+ppu1.4.2.oe
pip install flash-attn==2.5.6+ppu1.4.2.oe
pip install xformers==0.0.29.post1+ppu1.4.2.oe
pip install -r requirement.txt # vllm env below
pip install vllm==0.6.6.post1+ppu1.4.2.oe

第一步：选择基础官方镜像

在官方镜像中，按照以下原则选择一个符合需求的基础镜像：

1. 优先保证操作系统、CUDA兼容版本与所需的版本一致。

2. 当已有CUDA版本无法满足需求时，请联系PAI PDSA获取专属镜像。

3. 选择Python版本。如所需的版本为Python 3.10，则可参考PAI-PPU-V1.4.X 官方镜像 Release Note 直接获取适用的基础镜像。

4. 如所需Python 3.8，则建议使用Conda或其他Python包管理软件安装Python环境。

第二步：定制PPU镜像

1. 使用选定的官方镜像启动DSW实例。

2. 在DSW实例中使用Conda或其他Python包管理软件安装所需的Python环境。

3. 在DSW实例环境中，安装需要用到的包。

   # 1. 安装torch等PPU特殊版本
   pip install xxx
   
   # 2. 移除第3节提到的需要特殊安装的包，并安装剩余版本（社区版即可）
   pip install -r requirements.txt
   
   # 3. 如错误覆盖了一些特殊版本的包，需2次安装PPU特殊版本

4. 在DSW中进行保存镜像，以便后续使用

   

5.1 如何查看PPU的运行环境

可通过以下命令查看PAI-PPU的运行环境：

• PPU SDK版本：cat /usr/local/PPU_SDK/release.yaml

• CUDA兼容版本：nvcc --version

• 容器操作系统版本：cat /etc/os-release

• Python版本：python --version

• PyTorch版本：python -c "import torch; print(torch.__version__)"

5.2 PPU-SMI工具

PPU-SMI（PPU System Management Interface）是一个基于HGML（HanGuang Management Library）的命令行工具，用于辅助用户管理和查看PPU设备。通过ppu-smi命令行工具，用户可以：

• 修改设备配置 / 特性开关。

• 查询指定设备运行参数和特性使能状态。

• 收集运行数据 / 特定事件，导出至表格供后续分析。

• 分析各个应用程序的设备资源使用情况。

• 查询多个PPU设备的拓扑信息。

ppu-smi工具的详细使用方法，可参见ppu-smi查看基本信息汇总。

5.3 Asight System快速入门

Asight Systems是一款用于PPU程序的性能分析套件，支持跟踪CPU和GPU的各种事件，并显示其时间线，可以对程序进行系统级分析，找到性能瓶颈。Asight Systems分为两个工具：

• asys命令行工具：用于采集目标程序的事件，并生成报告，运行在Linux平台。asys支持多种类型事件的采集，如HGGC，HGTX，OSRT及其调用栈信息等，并支持灵活的采集开始和结束方式。

• Asight Systems GUI：用于展示报告，支持Windows和Mac平台。Asight Systems GUI提供多种视图展示报告，如TimelineView，EventsView，FunctionTable等，可以流畅显示海量数据，且操作简单，易于使用。

Asight Systems工具套件的使用流程为：

1. 用asys命令行工具跟踪目标程序，生成报告。

2. 用Asight Systems GUI打开报告，进行分析。

详细使用说明，请参见程序性能分析套件Asight Systems。

5.4 Asight Compute快速入门

Asight Compute是一款用于PPU应用程序的Kernel分析器，支持收集Kernel运行期间的Metrics并展示，可以对Kernel的性能进行优化。Asight Compute分为两个工具：

• acu命令行工具：用于采集Kernel的Metrics，并生成报告。运行在Linux平台。

• Asight Compute GUI工具：用于展示报告。支持Windows和Mac平台。Asight Compute GUI提供多种视图展示Metrics，如Roofline Chart，Bar Chart，Memory Table等，并且支持Baseline比对功能，操作简单，易于使用。

Asight Compute工具的使用流程为：

1. 用acu命令行工具跟踪目标程序，生成报告。

2. 用Asight Compute GUI打开报告，进行分析。

详细使用说明，请参见Kernel分析器Asight Compute。

6.1 自研RDMA网络最佳实践

由于PAI-PPU环境使用了自研RDMA网络（非Nvidia Infiniband网络），并使用了特殊的多卡互联方式（ICN Link），因此RDMA与集合通信库的配置方式略有特殊。

请参考以下在线文档配置正确的环境变量：自研集合通信库（ACCL-P）使用最佳实践。

6.2 PPU编程指南

真武810E算力在软件栈上完全兼容CUDA软件栈，用户可以直接使用CUDA语言编写程序，在PAI-DSW平台上使用编译后，在DLC、EAS等模块中使用真武810E运行。

真武810E算力上的编程模型、CUDA Sample最佳实践、CuBLAS最佳实践、Cutlass最佳实践以及NVCC、CUDA Sample兼容说明可参考以下在线文档：

PG1编程指南。

6.3 兼容性分析

PAI-PPU环境高度兼容了CUDA编程接口、Triton编程接口、nvcc编译器以及常用的PyTorch算子。

详细的兼容性分析信息可参见以下在线文档：兼容性。