inference-xpu-pytorch 25.03

Main Features and Bug Fix Lists

Contents

镜像Asset

Quick Start

以下示例内容仅通过Docker方式拉取inference-xpu-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

1. 拉取推理容器镜像。

   说明

   通过公网拉取ACS AI容器镜像需要先获取鉴权密钥。建议您使用VPC方式加速拉取AI容器镜像，减少镜像拉取的时间。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

2. 下载modelscope格式的开源模型。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. 启动以下命令进入容器。

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-xpu-pytorch:[tag]

4. 执行推理测试，测试vLLM推理对话功能。

   1. 启动Sever服务。

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. 在Client端进行测试。

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "你是个友善的AI助手。"},
          {"role": "user", "content": "介绍一下深度学习。"}
          ]}'

      输出如下所示：

      

      更多关于vLLM的使用方法请参见vLLM。

Known Issues

• DeepSeek问题

  • 测试DeepSeek模型--max-model-len设置需要 < 80k，否则可能会在运行中出现OOM。

  • SGLang不支持跑INT8量化模型。

  • vllm 0.7.3需要设置--max-num-batched-tokens参数，避免被框架默认2048参数限制，参考开源社区[Usage]:Input prompt (2501 tokens) is too long and exceeds limit of 2048 #13370。

• 性能问题

  • MOE类大模型使用Autotune工具可以提升性能 ，vLLM支持通过硬件相关的fused_moe kernel配置文件启动kernel以提升性能的优化功能。

• 量化问题

  • vLLM默认使用Marlin Kernel对GPTQ/AWQ/W8A8/WOQ进行量化推理加速，可以通过显式指定quantization的方法来使用vllm原本的Marlin/W8A8/awq/gptq等量化推理kernel，例如可以指定使用gptq_acext/awq_acext来做量化推理，但是acext目前不支持act_order=True的量化，以及GPTQ-Int8量化权重，下个版本优化。

  • vLLM使用vllm-flash-attn/xformers/flashinfer作为attention的后端，默认使用vllm-flash-attn性能尚未超过GPU版本，下个版本优化。

  • vLLM量化A8W8对接acext库实现，性能需要持续优化。

  • 目前FP8量化下速度非常慢，还没有进行PPU适配与优化，支持计划待定。

• 稳定性问题

  • vLLM多卡推理时，可能会出现使用mp_distributed_executor错误的情况，需使用VLLM_WORKER_MULTIPROC_METHOD=spawn避免该问题，参考开源社区[Bug]: When tensor_parallel_size>1, RuntimeError: Cannot re-initialize CUDA in forked subprocess. #6152。

  • vLLM多卡推理结束后会随机出现进程退出错误的社区已知问题，参考开源社区[Bug]: When using tp for inference, an error occurs: Worker VllmWorkerProcess pid 3283517 died, exit code: -15. #6145。