inference-xpu-pytorch 25.08

Main Features and Bug Fix Lists

Contents

镜像Asset

E2E性能评估

vLLM在线推理模式下，控制TTFT<3s 并且 TPOT<100ms ，测试满足条件的最大并发量，对比吞吐。

• vllm0.9.1:

  • DeepSeek-R1-bf16 模型单机 Output Token Throughput 性能在25.07版本有下降，本版本已恢复。

  • DeepSeek-R1-W8A8 模型单机 Output Token Throughput 性能是bf16模型的 197%。

Quick Start

以下示例内容仅通过Docker方式拉取inference-xpu-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

1. 拉取推理容器镜像。

   说明

   通过公网拉取ACS AI容器镜像需要先获取鉴权密钥。建议您使用VPC方式加速拉取AI容器镜像，减少镜像拉取的时间。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

2. 下载modelscope格式的开源模型。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. 启动以下命令进入容器。

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

4. 执行推理测试，测试vLLM推理对话功能。

   1. 启动Sever服务。

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. 在Client端进行测试。

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "你是个友善的AI助手。"},
          {"role": "user", "content": "介绍一下深度学习。"}
          ]}'

      输出如下所示：

      

      更多关于vLLM的使用方法请参见vLLM。

使用建议

Known Issues

• vLLM 稳定性问题：

  • 多卡推理时，可能会出现使用 mp_distributed_executor 错误的情况，需使用VLLM_WORKER_MULTIPROC_METHOD=spawn避免该问题，参考开源社区。

  • vLLM 多卡推理结束后会随机出现进程退出错误的社区已知问题，详见开源社区。

• vLLM 量化问题：

  • vLLM 默认使用 Marlin Kernel 对 GPTQ/AWQ 进行量化推理加速，可以通过显式指定 quantization gptq_acext/awq_acext 使用 acext 来做量化推理，但是 acext 目前不支持 act_order=True 的量化，以及 GPTQ-Int8 量化权重。

  • vLLM FP8 量化依赖 SM89/90 架构，PPU 暂无原生支持；vLLM 0.9.1 提供了FP8 marlin 的实现方式（实际是 W8A16 量化推理），可在 SM < 89 架构上运行 FP8 模型，PPU 可通过这种方式运行 FP8，但暂未进行适配与优化。

• vLLM-v0.9.1 预估的可用 kv cache 空间相比 V0.8.5 少，导致受 kv cache 约束的场景并发数会因此下降，对性能产生影响（例如 DeepSeek-R1-bf16 810e 单机运行）。

  • 建议真武810E上使用A8W8量化模型以避免该性能下降。

• SGLang-v0.4.7在运行DeepSeek-R1 / DeepSeek-V3 A8W8-INT8模型时，默认会使用shared expert，SGLang-v0.4.6.post1则不会，这会导致SGLang-v0.4.7运行该模型时性能不如SGLang-v0.4.6.post1。SGLang-v0.4.7可通过--disable-shared-experts-fusion选项禁用shared expert，此时SGLang-v0.4.7运行该模型时性能与SGLang-V0.4.6.post1相当。

• SGLang-v0.4.7镜像--mem-fraction-static选项参数设置较大导致单机显存容量不足时，会出现decode out of memory的问题，这是社区已知问题。

• flashinfer以下模块存在已知的精度问题，导致UT fail。

  1. PoD Attention。

  2. Segment gemm。