AI 助理
文档备案控制台
官方文档
输入文档关键字查找
首页

inference-xpu-pytorch 25.09

更新时间：
复制为 MD 格式
我的收藏

本文介绍inference-xpu-pytorch 25.09版本发布记录。

Main Features and Bug Fix Lists

Main Features

  • 基础镜像PPU SDK升级至1.6.1。

  • vLLM镜像vLLM版本升级至0.10.0。

  • SGLang镜像SGLang版本升级至0.4.10。

  • FlashInfer升级至0.2.9rc2。

  • Flash Attention升级至2.7.4.post1，支持 FA3功能。

Bug Fix

无

Contents

inference-xpu-pytorch

inference-xpu-pytorch

镜像Tag

25.09-v1.6.1-vllm0.10.0-torch2.7-cu128-20250924

25.09-v1.6.1-sglang0.4.10-torch2.7-cu128-20250924

应用场景

大模型推理

大模型推理

框架

pytorch

pytorch

Requirements

PPU SDK V1.6.1

PPU SDK V1.6.1

系统组件

  • Ubuntu 24.04

  • Python 3.12

  • Torch 2.7.0

  • CUDA 12.8

  • ACCL-P 1.6.0-10

  • AcclEP-P 1.0.0.5+0e3ede0

  • EIC 1.3.8.2

  • eic-sailshmem 1.0.3.1.0.gda3c51b

  • accelerate 1.10.1

  • apex 0.1

  • deepseed 0.14.4

  • diffusers 0.35.1

  • flash-attn 2.7.4.post1

  • flashinfer-python 0.2.6.post1

  • imageio 2.37.0

  • imageio-ffmpeg 0.6.0

  • mooncake-transfer-engine 0.3.4.post2

  • peft 0.12.0

  • ray 2.49.2

  • xformers 0.0.30

  • transformers 4.53.3

  • transformer_engine 2.3.0+eb92009

  • triton 3.3.0+gitd63d56cc

  • torchao 0.11.0

  • torchvision 0.22.0

  • vllm 0.10.0

  • xgrammar 0.1.21

  • xfuser 0.4.4

  • ljperf 0.1.0+477686c5

  • Ubuntu 24.04

  • Python 3.12

  • Torch 2.7.0

  • CUDA 12.8

  • ACCL-P 1.6.0-10

  • AcclEP-P 1.0.0.5+0e3ede0

  • EIC 1.3.8.2

  • eic-sailshmem 1.0.3.1.0.gda3c51b

  • accelerate 1.10.0

  • diffusers 0.35.1

  • decord 0.6.0

  • deep_ep 1.6.0+1242c66

  • deep_gemm 1.0.0+82eea9c

  • deepspeed 0.14.4

  • flash-attn 2.8.2

  • flash-attn-3 3.0.0b1

  • flash_mla 1.0.0

  • flashinfer-python 0.2.9rc2

  • imageio 2.37.0

  • imageio-ffmpeg 0.6.0

  • mooncake-transfer-engine 0.3.4.post2

  • peft 0.12.0

  • ray 2.49.2

  • sglang 0.4.10

  • sgl-kernel 0.2.8

  • transformers 4.51.3

  • transformer_engine 2.3.0+eb92009

  • torchao 0.11.0

  • triton 3.3.0+gitd63d56cc

  • vllm 0.9.1

  • xformers 0.0.29.post1

  • xgrammar 0.1.19

  • xfuser 0.4.4

  • ljperf 0.1.0+477686c5

镜像Asset

说明

通过公网拉取ACS AI容器镜像需要先获取鉴权密钥。建议您使用VPC方式加速拉取AI容器镜像，减少镜像拉取的时间。

公网镜像

  • egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:25.09-v1.6.1-vllm0.10.0-torch2.7-cu128-20250924

  • egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:25.09-v1.6.1-sglang0.4.10-torch2.7-cu128-20250924

VPC镜像

  • acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

    {region-id}为您使用的ACS产品所在的开服地域，比如：cn-beijing、cn-wulanchabu等。
    {image:tag}为实际镜像的名称和Tag。

E2E性能评估

vLLM在线推理模式下，设置输入输出Token长度为4096/2048，控制TTFT<3s 并且 TPOT<100ms ，测试满足条件的最大并发量，对比吞吐。

DeepSeek-R1-bf16，DeepSeek-R1-W8A8 模型单机 Output Token Throughput 性能基本与25.08版本一致。

image

Quick Start

以下示例内容仅通过Docker方式拉取inference-xpu-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

说明

在ACS中使用inference-xpu-pytorch镜像需要通过控制台创建工作负载界面的制品中心页面选取，或者通过YAML文件指定镜像引用。

  1. 拉取推理容器镜像。

    说明

    通过公网拉取ACS AI容器镜像需要先获取鉴权密钥。建议您使用VPC方式加速拉取AI容器镜像，减少镜像拉取的时间。

    docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

  2. 下载modelscope格式的开源模型。

    pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

  3. 启动以下命令进入容器。

    docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

  4. 执行推理测试，测试vLLM推理对话功能。

    1. 启动Sever服务。

      python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

    2. 在Client端进行测试。

      curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是个友善的AI助手。"},
    {"role": "user", "content": "介绍一下深度学习。"}
    ]}'

      输出如下所示：

      image.png

      更多关于vLLM的使用方法请参见vLLM。

使用建议

  • DeepSeek R1（671B）：

    • vLLM 0.10.0：支持 per-token/per-channel a8w8（int8）、AWQ（w4a16）、GPTQ （w4a16、w8a16）量化方案。

    • SGLang 0.4.10：支持per-token/per-channel A8W8（int8）、AWQ（w4a16）、GPTQ （w4a16、w8a16）量化方案（运行 A8W8（int8）量化模型需要加 --quantization w8a8_int8选项）。

  • Qwen3：

    • vLLM 0.10.0：支持 per-token/per-channel a8w8（int8）、AWQ（w4a16）、GPTQ （w4a16、w8a16）量化方案。

    • SGLang 0.4.10：支持per-token/per-channel A8W8（int8）、AWQ（w4a16）、GPTQ （w4a16、w8a16）量化方案（运行 A8W8（int8）量化模型需要加 --quantization w8a8_int8选项）。

  • 建议配合“1.5.1”及以上版本驱动使用本镜像获得最佳性能，设置方法请参考为ACS GPU Pod指定GPU型号和驱动版本和GPU驱动版本说明。

  • 本镜像内置环境变量NCCL_SOCKET_IFNAME需要根据使用场景动态调整：

    • 当单Pod只申请了1/2/4/8卡进行推理任务时：需要设置NCCL_SOCKET_IFNAME=eth0（本推理镜像内默认配置）。

    • 当单Pod申请了整机的16卡（此时您可以使用HPN高网）进行推理任务时：需要设置NCCL_SOCKET_IFNAME=hpn0。

  • 本镜像建议配合使用“在ACS产品使用阿里云提供的PPU PIP服务”，支持在ACS VPC内一站式免密使用PIP服务，不需要再组合使用其他PIP源。本镜像内已经内置了相应的pip config，还需要您结合您的使用场景根据文档的指引做必要的配置。

Known Issues

  • sglang 0.4.10 Qwen3-8B的部分场景下，大并发吞吐性能低于小并发。主要原因是大并发刚好打到了gemm和flashinfer kernel性能差的tile配置。这种情况建议选择吞吐性能更好的小并发。

  • sglang 0.4.10 默认使用FA3后端，在Qwen3-235B-A22B，输入4000/输出1500场景下，FA3后端性能不如FlashInfer，建议使用FlashInfer后端。

  • sglang 0.4.10 默认使用FA3后端，在Qwen3-235B-A22B、BF16场景可能在cuda graph capturing阶段hang住。可以尝试通过调低--mem_fraction_static的设置来解决，例如设置成0.8。

  • vLLM双机场景，容器镜像里transformers >= 4.53.3并且安装了torchao，会导致运行失败。GPU上也存在相同的问题。可以通过卸载torchao解决。

  • 在ACS环境使用AcclEP-P（即PPU版本的DeepEP），需要设置环境变量export EIC_VSOLAR=1（本镜像需要设置，预计后续镜像移除该限制）。

上一篇：inference-xpu-pytorch 25.11下一篇：inference-xpu-pytorch 25.08