PAI-PPU-V1.5.0 官方镜像 Release Note
1. 镜像概述
为方便您快速在PAI Serverless上启用ml.gp7vf.16.40xlarge资源（真武810E），PPU发布了PAI Serverless官方镜像，其集成了PPU、高网、PAI等各层能力，提供开箱即用的体验和最优的性能表现。
2. 注意事项
PAI-PPU训练镜像仅支持在PAI Serverless平台内（包含DSW、DLC、EAS等模块）使用。
PAI-PPU推理镜像仅支持在PAI Serverless - EAS中使用，不支持其他环境。
在PAI中使用PPU系列资源，支持选择“驱动设置”，本PAI-PPU-V1.5.0镜像推荐使用1.5.0版本驱动。
3. 主要更新
更新PPU SDK至1.5.0版本，详情请参见PG1 SDK Release Note。
更新EIC SDK至1.3.7.1-v2504.3版本，适配PPU SDK v1.5.0。
镜像环境组合更新至CUDA 12.6 + PyTorch 2.6.0
DeepSeek-R1推理方案更新至SGLang 0.4.4.post3、vLLM 0.7.3。vLLM 0.7.3新增支持FlashMLA，并优化了A8W8量化算子的推理性能。建议使用DeepSeek-R1-int8 + vLLM 0.7.3 + FlashMLA作为最佳实践，性能测试结果如下：
（实验室条件下测试，结果仅供参考，不作为选型依据）
4. 镜像内容
4.1 训练镜像
pai-pg1-training-1.5.0-ubuntu | pai-pg1-training-1.5.0-ubuntu-latest | |
适用场景 | CUDA 12.3 + PyTorch 2.4 | CUDA 12.6 + PyTorch 2.6.0 |
操作系统 | Ubuntu 22.04 | Ubuntu 24.04 |
PPU SDK版本 | 1.5.0 | 1.5.0 |
EIC SDK版本 | 1.3.7.1-v2504.3 | 1.3.7.1-v2504.3 |
兼容CUDA版本 | 12.3 | 12.6 |
Python版本 | 3.10 | 3.10 |
Pytorch版本 | 2.4.0 | 2.6.0 |
Open-MMLab组件版本 |
|
|
获取方式 |
此版本默认安装常用Open-MMLab组件版本，其他Open-MMLab组件版本可通过PPU-PIP源安装（PPU-V1.5.0 PIP包清单）
4.2 推理镜像
pai-pg1-inference-1.5.0-vllm0.7.3 | pai-pg1-inference-1.5.0-sglang0.4.4.post3 | |
适用场景 | vllm 0.7.3，支持FlashMLA | sglang 0.4.4，支持Reasoning Parser |
操作系统 | Ubuntu 24.04 | Ubuntu 24.04 |
PPU SDK版本 | 1.5.0 | 1.5.0 |
EIC SDK版本 | 1.3.7.1-v2504.3 | 1.3.7.1-v2504.3 |
兼容CUDA版本 | 12.6 | 12.6 |
Python版本 | 3.10 | 3.10 |
Pytorch版本 | 2.5.1 | 2.5.1 |
推理引擎版本 | vllm 0.7.3 | sglang 0.4.4.post3 |
已验证模型 | DeepSeek-R1/V3 | DeepSeek-R1/V3 |
获取地址 |
上述大模型推理镜像仅支持在PAI-EAS中使用，不支持在DSW、DLC中使用，建议方式：使用“pai-pg1-training-1.5.0-ubuntu-latest”镜像，可支持在DSW、DLC、EAS中使用，根据使用的操作系统通过pip安装vllm 0.7.2/sglang 0.4.2：
pip install vllm==0.7.3+ppu1.5.0.oe
pip install sglang==0.4.4.post3+ppu1.5.0.oe5. 获取方式
5.1 PAI内直接获取
在PAI的工作空间中，在左侧菜单栏单击镜像 > PAI官方镜像，即可查看PAI-PPU官方镜像。
在PAI中各子产品中新建实例，例如新建DSW实例，可以选择官方镜像，通过芯片类型选择PPU，即可快速筛选出PAI-PPU官方镜像。
5.2 通过Model Gallery使用推理镜像
在Model Gallery中，选择DeepSeek-R1/V3系列模型，在部署界面中，选择单机-GP7V机型部署方式，即可使用PPU系列推理镜像。
