基于GPU实例双机分布式部署满血版Deepseek模型

操作步骤

步骤四：模型运行测试

1. 执行以下命令，进入vllm-test容器。

   docker exec -it vllm-test bash

2. 执行以下命令，安装Ray并在两台机器间创建Ray集群。

   pip3 install ray
   
   # running on node1
   ray start --head --dashboard-host 0.0.0.0

   在node1上会出现类似下述回显信息。

   

3. 然后在node2上运行上述图红框中的命令，即可创建Ray集群，可以通过在任何一台机器上运行ray status命令来检查是否创建成功。如果出现下述回显信息即表明创建成功。

   

4. 在任何一台机器的容器中运行如下命令启动DeepSeek-V3或DeepSeek-R1的推理serving服务。

   vllm serve /path/to/DeepSeek-V3 \
   --tensor-parallel-size 8 \
   --pipeline-parallel-size 2 \
   --trust-remote-code \
   --enable-chunked-prefill \
   --host 0.0.0.0

   说明

   其中/path/to/DeepSeek-V3需要替换为本地DeepSeek-V3或DeepSeek-R1的存放目录。

   如下所示，表示vllm推理服务已启动。

   

5. 等待推理server完成初始化正常运行后，在运行上述命令的机器的容器中另一个终端窗口中运行如下命令发送推理请求并显示模型推理返回结果。

   curl http://localhost:8000/v1/chat/completions \
   -H "Content-Type:application/json" \
   -d '{
     "model":"/path/to/DeepSeek-V3",
     "messages":[{"role": "user", "content": "写一首20字的月亮诗"}],
     "stream":false}'

   

（可选）DeepSeek-V3/R1模型性能评估

为了避免在每次运行过程中都去下载评估数据集，最好提前将评估数据集下载并存放在服务器本地。

通过以下命令，克隆名为ShareGPT_V3_unfiltered_cleaned_split 的数据集仓库。

git lfs clone https://www.modelscope.cn/datasets/gliang1001/ShareGPT_V3_unfiltered_cleaned_split.git

DeepSeek-V3/R1模型性能评估支持离线和在线两种方式：

• 离线性能评估

  1. 获取vllm源码。

     git lfs clone https://github.com/vllm-project/vllm.git

  2. 在容器中运行如下命令进行DeepSeek-V3或DeepSeek-R1离线性能评估。

     python3 ./vllm/benchmarks/benchmark_throughput.py \
       --backend vllm \
       --model /path/to/DeepSeek-V3 \
       --trust-remote-code \
       --tensor-parallel-size 8 \
       --output-len 4096 \
       --input-len 512 \
       --num-prompts 10 \
       --dataset /path/to/ShareGPT_V3_unfiltered_cleaned_split.json

     说明

     其中/path/to/DeepSeek-V3需要替换为本地DeepSeek-V3或DeepSeek-R1的存放目录；/path/to/ShareGPT_V3_unfiltered_cleaned_split.json需要替换为本地评估数据集仓库的存放路径。

• 在线性能评估

  在容器中运行如下命令启动模型serving，进行DeepSeek-V3或DeepSeek-R1的在线性能评估。

  vllm serve /path/to/DeepSeek-V3 \
    --tensor-parallel-size 8 \
    --pipeline-parallel-size 2 \
    --trust-remote-code \
    --enable-chunked-prefill \
    --host 0.0.0.0 \
    --port 12345

  等待server完成初始化正常运行后，在容器中另一个终端中运行如下命令进行serving模式性能测试。

  1. 获取vllm源码。

     git lfs clone https://github.com/vllm-project/vllm.git

  2. 启用serving模式性能评估。

     python3 ./vllm/benchmarks/benchmark_serving.py \
       --backend vllm \
       --model /path/to/DeepSeek-V3 \
       --dataset-name random \
       --random-output-len 4096 \
       --random-input-len 512 \
       --num-prompts 10 \
       --max-concurrency 1 \
       --port 12345 \
       --dataset-path /path/to/ShareGPT_V3_unfiltered_cleaned_split/ShareGPT_V3_unfiltered_cleaned_split.json

     说明

     其中/path/to/DeepSeek-V3需要替换为本地DeepSeek-V3或DeepSeek-R1的存放目录；/path/to/ShareGPT_V3_unfiltered_cleaned_split.json需要替换为本地评估数据集仓库的存放路径。