inference-xpu-pytorch 25.05

Main Features and Bug Fix Lists

Contents

E2E性能评估

vLLM在线推理模式下，控制TTFT < 3S并且TPOT < 100ms ，测试满足条件的最大并发量，对比吞吐：

• DeepSeek-R1-bf16模型：真武810E单机Output Token Throughput是SDK1.5.0版本镜像的425%。

• DeepSeek-R1-w8a8-int8模型：真武810E单机Output Token Throughput 是bf16版本模型的190%。

Quick Start

以下示例内容仅通过Docker方式拉取inference-xpu-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

1. 拉取推理容器镜像。

   说明

   通过公网拉取ACS AI容器镜像需要先获取鉴权密钥。建议您使用VPC方式加速拉取AI容器镜像，减少镜像拉取的时间。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

2. 下载modelscope格式的开源模型。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. 启动以下命令进入容器。

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

4. 执行推理测试，测试vLLM推理对话功能。

   1. 启动Sever服务。

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. 在Client端进行测试。

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "你是个友善的AI助手。"},
          {"role": "user", "content": "介绍一下深度学习。"}
          ]}'

      输出如下所示：

      

      更多关于vLLM的使用方法请参见vLLM。

使用建议

• 使用本镜像运行DeepSeek R1（671B）、Qwen3模型，支持的量化方法包括：

  • vLLM 0.8.5：支持AWQ（w4a16）、GPTQ （w4a16、w8a16）、per-token/per-channel a8w8（int8）量化方案（在vLLM 0.8.5上运行通过AWQ和GPTQ量化的模型需要加--quantization moe_wna16）。

• 暂时不支持PG1 SDK 1.5.1 Release Note中提到的DeepEP和sailSHMEM功能，支持时间待定。

• 建议配合“1.5.1”驱动使用本镜像获得最佳性能，设置方法请参考为ACS GPU Pod指定GPU型号和驱动版本和GPU驱动版本说明。

Known Issues

• Qwen3-235B-A22B模型性能将在下一个迭代版本中进一步优化。

• DeepSeek R1模型

  • 测试DeepSeek模型 --max-model-len 设置需要小于80k，否则可能会在运行中出现OOM情况。

  • vLLM镜像会存在推理乱码情况，建议关闭prefill cahcing（增加--no-enable-prefix-caching选项）。

• 量化问题

  • SGLang 0.4.6post1镜像的AWQ（w4a16）、GPTQ （w4a16、w8a16）方案尚未验证，per-token/per-channel a8w8（int8）量化方案不支持。

• 稳定性问题

  • vLLM 多卡推理时可能会出现使用 mp_distributed_executor 错误的情况，需使用 VLLM_WORKER_MULTIPROC_METHOD=spawn，避免该问题，参考开源社区 https://github.com/vllm-project/vllm/issues/6152。

  • vLLM 多卡推理结束后会随机出现进程退出错误的社区已知问题，详见开源社区的 https://github.com/vllm-project/vllm/issues/6145。

• 性能问题：

  • MOE类大模型使用Autotune工具可以提升性能 ，VLLM支持通过硬件相关的fused_moe kernel配置文件启动kernel以提升性能的优化功能。