llm-inference-xpu 24.11

公网镜像

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference-xpu:vllm0.5.3.post1-pytorch2.5.1-cuda12.4-ubuntu22.04

VPC镜像

• acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

  {region-id}为您使用的ACS产品所在的开服地域，比如：cn-beijing、cn-wulanchabu等。

  {image:tag}为实际镜像的名称和Tag。

Quick Start

示例内容以qwen2.5 7b模型为例。

1. 拉取容器。

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference-xpu:[tag]

2. 从modelscope下载模型文件。

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. 启动并进入容器。

   docker run  --rm -it --gpus all --privileged --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864  \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference-xpu:[tag]

4. 执行推理测试，测试vLLM推理对话功能。

   1. 启动Server服务。

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code \
      --tensor-parallel-size 1

   2. Client端测试。

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",  
          "messages": [
          {"role": "system", "content": "你是个友善的AI助手。"},
          {"role": "user", "content": "介绍一下深度学习。"}
          ]}'

   更多关于vLLM的使用方法请参见vLLM。

在ACS环境下使用PPU大模型推理镜像的使用指导，请参见ACS集群形态的LLM大模型推理镜像使用指导。