PAI-PPU-V1.5.1 官方镜像 Release Note
1. 镜像概述
为方便用户快速在PAI Serverless上启用ml.gp7vf.16.40xlarge资源（真武810E），PPU发布了PAI-PPU官方镜像，集成PPU、高网、PAI等各层能力，提供开箱即用的体验和最优的性能表现。
2. 注意事项
PAI-PPU训练镜像仅支持在PAI平台内（包含DSW、DLC、EAS等模块）使用；
PAI-PPU推理镜像仅支持在PAI-EAS中使用，不支持其他环境；
本次官方镜像更新不包含驱动更新，PAI-PPU-V1.5.1镜像推荐使用1.5.0版本驱动；
本次官方镜像暂不支持DeepEP和sailSHMEM，支持时间待定；
3. 主要更新
支持区域更新至：乌兰察布、北京、上海、杭州；
更新PPU SDK至1.5.1版本，详情请参见PPU SDK v1.5.1 release note（暂不支持DeepEP和SHMEM功能)；
EIC SDK本次暂无更新；
全部镜像环境组合更新至CUDA 12.6 + PyTorch 2.6.0；
推理镜像更新至vLLM 0.8.5（支持V1）、SGLang 0.4.6.post1；
内置PPU acext优化算子库，针对DeepSeek-R1-int8、Qwen3-235B-A22B-bf16模型，有40%+的性能提升，测试结果如下：
（实验室条件下测试，结果仅供参考，不作为选型依据）
4. 镜像内容
4.1 训练镜像
pai-pg1-training-1.5.1-ubuntu | pai-pg1-training-1.5.1-ubuntu-latest | |
适用场景 | CUDA 12.3 + PyTorch 2.4 | CUDA 12.6 + PyTorch 2.6.0 |
操作系统 | Ubuntu 22.04 | Ubuntu 24.04 |
PPU SDK版本 | 1.5.1 | 1.5.1 |
EIC SDK版本 | 1.3.7.1-v2504.3 | 1.3.7.1-v2504.3 |
兼容CUDA版本 | 12.3 | 12.6 |
Python版本 | 3.10 | 3.12 |
Pytorch版本 | 2.4.0 | 2.6.0 |
Open-MMLab组件版本 |
|
|
获取方式 |
4.2 推理镜像
vllm:0.8.5-xpu1.5.1 | sglang:0.4.6.post1-xpu1.5.1 | |
适用场景 | vllm 0.8.5，集成acext算子库 | sglang 0.4.6.post1，集成acext算子库 |
操作系统 | Ubuntu 24.04 | Ubuntu 24.04 |
PPU SDK版本 | 1.5.1 | 1.5.1 |
EIC SDK版本 | 1.3.7.1-v2504.3 | 1.3.7.1-v2504.3 |
兼容CUDA版本 | 12.6 | 12.6 |
Python版本 | 3.10 | 3.10 |
Pytorch版本 | 2.6.0 | 2.6.0 |
推理引擎版本 | vllm 0.8.5 | sglang 0.4.6.post1 |
已验证模型 | DeepSeek-R1/V3、Qwen3 | DeepSeek-R1/V3、Qwen3 |
获取地址 |
上述大模型推理镜像仅支持在PAI-EAS中使用，不支持在DSW、DLC中使用，建议方式：
使用“pai-pg1-training-1.5.1-ubuntu-latest”镜像，可支持在DSW、DLC、EAS中使用，根据使用的操作系统通过pip安装vllm 0.7.2/sglang 0.4.2：
pip install vllm==0.8.5+ppu1.5.1.oe pip install sglang==0.4.6.post1+ppu1.5.1.oe
5. 获取方式
5.1 PAI内直接获取
在PAI的工作空间中，切换到镜像界面，可以看到PAI官方镜像列表，即可查看PAI-PPU官方镜像。
在PAI中各子产品中新建实例，例如新建DSW实例，可以选择官方镜像，通过芯片类型即可快速筛选出PAI-PPU官方镜像。
5.2 通过Model Gallery使用推理镜像
在Model Gallery中，选择DeepSeek-R1/V3系列模型，在部署界面中，选择单机-GP7V机型部署方式，即可使用PPU系列推理镜像
