基于GPU实例双机分布式部署满血版Deepseek模型

操作步骤

步骤三：模型运行测试

1. 进入vllm-test容器。

   docker exec -it vllm-test bash

2. 设置GLOO使用eth0网卡。

   node1与node2都需设置。

   echo 'export GLOO_SOCKET_IFNAME=eth0' >> ~/.bashrc
   echo 'export NCCL_SOCKET_IFNAME=eth0' >> ~/.bashrc
   source ~/.bashrc

3. 安装Ray并在两台机器间创建Ray集群。

   pip3 install ray
   
   # running on node1
   ray start --head --dashboard-host 0.0.0.0

   在node1上会出现类似下述回显信息。

   root@xxx /workspace# ray start --head --dashboard-host 0.0.0.0
   Enable usage stats collection? This prompt will auto-proceed in 10 seconds to avoid blocking cluster startup. Confirm [Y/n]: y
   Usage stats collection is enabled. To disable this, add `--disable-usage-stats` to the command that starts the cluster, or run the following
   command: `ray disable-usage-stats` before starting the cluster. See https://docs.ray.io/en/master/cluster/usage-stats.html for more details.
   
   Local node IP: 1xxx
   
   --------------------
   Ray runtime started.
   --------------------
   
   Next steps
     To add another node to this Ray cluster, run
       ray start --address='xxx'
   
     To connect to this Ray cluster:
       import ray
       ray.init()
   
     To submit a Ray job using the Ray Jobs CLI:
       RAY_ADDRESS='xxx' xxx
   
     See https://docs.ray.io/en/latest/cluster/running-applications/job-submission/index.html
     for more information on submitting Ray jobs to the Ray cluster.
   
     To terminate the Ray runtime, run
       ray stop
   
     To view the status of the cluster, use
       ray status
   
     To monitor and debug Ray, view the dashboard at
       xxx
   
     If connection to the dashboard fails, check your firewall settings and network configuration.

   其中 ray start --address='xxx' 是后续在 node2 上执行以加入该 Ray 集群的命令。

4. 然后在node2上运行上述代码块中的 ray start --address='xxx' 命令（将 xxx 替换为 node1 的实际 IP 地址），即可创建Ray集群，可以通过在任何一台机器上运行ray status命令来检查是否创建成功。如果出现下述回显信息即表明创建成功。

   root@ixxx:/workspace# ray status
   ======== Autoscaler status: 2025-02-13 09:17:16.683342 ========
   Node status
   ---------------------------------------------------------------
   Active:
    1 node_dxxx3a8f
    1 node_8xxx50d7
   Pending:
    (no pending nodes)
   Recent failures:
    (no failures)
   
   Resources
   ---------------------------------------------------------------
   Usage:
    0.0/384.0 CPU
    0.0/16.0 GPU
    0B/1.59TiB memory
    0B/372.53GiB object_store_memory
   
   Demands:
    (no resource demands)

5. 在任何一台机器的容器中，启动DeepSeek-V3或DeepSeek-R1的推理serving服务。

   vllm serve /path/to/DeepSeek-V3 \
   --tensor-parallel-size 8 \
   --pipeline-parallel-size 2 \
   --trust-remote-code \
   --enable-chunked-prefill \
   --host 0.0.0.0

   其中/path/to/DeepSeek-V3需要替换为本地DeepSeek-V3或DeepSeek-R1的存放目录。

   如下所示，表示vllm推理服务已启动。

   INFO 02-13 09:39:05 metrics.py:455] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 21.1 tokens/s

6. 等待推理server完成初始化正常运行后，在运行上述命令的机器的容器中另一个终端窗口中，发送推理请求并显示模型推理返回结果。

   curl http://localhost:8000/v1/chat/completions \
   -H "Content-Type:application/json" \
   -d '{
     "model":"/path/to/DeepSeek-V3",
     "messages":[{"role": "user", "content": "写一首20字的月亮诗"}],
     "stream":false}'

   root@xxx# curl http://localhost:8000/v1/chat/completions -H "Content-Type:application/json" -d '{"model":"/mnt/DeepSeek-R1","messages":[{"role": "user", "content": "写一首20字的月亮诗"}],"stream":false}'
   {"id":"chatcmpl-a89681c0b63c4b38ba9e0fbfb3a4016e","object":"chat.completion","created":1739439522,"model":"/mnt/DeepSeek-R1","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"<think>\n好的，用户让我写一首20字的关于月亮的诗。首先，我需要确定诗的结构。20字的话，五言绝句比较合适，每句五个字，四句刚好20字。接下来要考虑月亮的意象，比如常用的有玉盘、明镜、桂树等，但得避免太常见的比喻，得有点新意。\n主题方面，月亮通常表达思念、孤独或者美景，用户可能希望有画面感，同时带有情感。可能需要加入自然元素，比如正面、侧影，或者与夜晚相关的景象，比如月、荷、雁影之类的。考虑到20字的限制，每句都要精准，不能浪费字。\n第一句可能需要点出月亮，比如\"月坠古江心\"，这样既有画面感，又有动感。第二句可以描绘周围的景色，比如\"清辉烁宿林\"，清辉指月光，宿林可能指夜晚的树林，烁字增添闪烁的感觉。第三句要有人的元素，比如\"舟孤衍雁影\"，孤舟和雁影增加孤独感，衍字连接两者。最后一句收尾要升华，比如\"天地一浮簪\"，把天地比作发簪，有点夸张但有意境。\n\n检查一下押韵和结构是否符合五绝的平仄，可能不需要严格遵循，但读起来要顺口。再考虑是否有更好的词替换，比如\"浮簪\"是否贴切，或者是否有更生动的比喻。整体是否连贯，有没有传达出静谧、孤独的月夜氛围。可能需要调整用词，让每句之间的联系更紧密，画面更统一。最后确认字数，确保正好20字。\n</think>\n\n《古江月》\n月坠古江心，清辉烁宿林。\n舟孤衍雁影，天地一浮簪。\n\n注：诗人的诗作《古江月》通过寥寥数语，构造出一幅静谧的月夜江景。前两句以\"坠\"、\"烁\"二字活化月光与江林，后两句通过孤舟、雁影的勾勒，最终以天地凝为浮簪的奇绝想象收束，使全诗如画卷般舒展，蕴含幽深禅意。"},"tool_calls":[]}],"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":9,"total_tokens":459,"completion_tokens":450,"prompt_tok

（可选）DeepSeek-V3/R1模型性能评估

为了避免在每次运行过程中都去下载评估数据集，最好提前将评估数据集下载并存放在服务器本地。

1. 在容器内安装性能评估所需软件。

   apt install -y unzip
   pip install datasets -i https://mirrors.aliyun.com/pypi/simple

2. 克隆ShareGPT_V3_unfiltered_cleaned_split 的数据集仓库。

   git lfs clone https://www.modelscope.cn/datasets/gliang1001/ShareGPT_V3_unfiltered_cleaned_split.git

3. 获取vllm源码并解压。

   wget https://help-static-aliyun-doc.aliyuncs.com/install-script/vllm-0.7.2.zip
   unzip vllm-0.7.2.zip

4. 启用serving模式性能评估。

   python3 ./vllm-0.7.2/benchmarks/benchmark_serving.py \
     --backend vllm \
     --model /path/to/DeepSeek-V3 \
     --dataset-name random \
     --random-output-len 4096 \
     --random-input-len 512 \
     --num-prompts 10 \
     --max-concurrency 1 \
     --port 8000 \
     --dataset-path ShareGPT_V3_unfiltered_cleaned_split/ShareGPT_V3_unfiltered_cleaned_split.json

   其中/path/to/DeepSeek-V3需要替换为本地DeepSeek-V3或DeepSeek-R1的存放目录。

5. 查看评估结果。

   ============ Serving Benchmark Result =============
   Successful requests:                     xxx
   Benchmark duration (s):                  xxx
   Total input tokens:                      xxx
   Total generated tokens:                  xxx
   Request throughput (req/s):              xxx
   Output token throughput (tok/s):         xxx
   Total Token throughput (tok/s):          xxx
   ----------------Time to First Token----------------
   Mean TTFT (ms):                          xxx
   Median TTFT (ms):                        xxx
   P99 TTFT (ms):                           xxx
   -----Time per Output Token (excl. 1st token)------
   Mean TPOT (ms):                          xxx
   Median TPOT (ms):                        xxx
   P99 TPOT (ms):                           xxx
   ----------------Inter-token Latency----------------
   Mean ITL (ms):                           xxx
   Median ITL (ms):                         xxx
   P99 ITL (ms):                            xxx
   ===================================================

相关文档

• 计算巢一键部署方式（GPU双机版）

  计算巢基于ROS模板可以实现云资源与大模型的一键部署，您仅需在创建服务实例时添加几个参数，即可在30分钟内通过GPU实例（双机）部署并使用满血版DeepSeek模型，快速体验DeepSeek-R1/V3的推理性能，具体请点击部署链接进行一键部署操作。

• 命令执行部署方式（GPU单机版）

  利用SGLang作为DeepSeek模型的推理框架，通过执行命令方式基于GPU实例单机部署满血版DeepSeek模型，您也无需进行额外配置，即可实现DeepSeek-R1/V3的推理性能。