基于ACK多机分布式部署DeepSeek满血版推理部署实战

1.1 模型切分

DeepSeek-R1模型共有671B参数，单张GPU显存只有96GB，无法加载全部模型，因此需要将模型切分。本文采用了TP=8，PP=2的切分方式，模型切分示意图如下。模型并行（PP=2）将模型切分为两个阶段，每个阶段运行在一个GPU节点上。例如有一个模型 M，我们可以将其切分为M1和M2，M1在第一个GPU上处理输入，完成后将中间结果传递给M2，M2在第二个GPU上进行后续操作。数据并行（TP=8）在模型的每个阶段内（例如M1和M2），将计算操作分配到8个GPU上进行。在 M1阶段，当输入数据传入时，这些数据将被分割为8份，并分别在8个GPU上同时处理。每个GPU处理一小部分数据，计算获取的结果然后合并。

本文选择vllm + ray的方式分布式部署DeepSeek-R1模型，整体部署架构如下所示。两个vLLM Pod部署在两台ECS上，每个vLLM Pod有8张GPU。两个Pod一个作为Ray head节点，一个作为Ray worker节点。

1.2 模型下载

1.3 模型部署

1. 安装LeaderWorkerSet。

   登录容器服务管理控制台，在左侧导航栏选择集群列表。单击目标集群名称，进入集群详情页面，如下图所示，按照序号依次单击，使用Helm为目标集群安装lws组件。

   您无需为组件配置应用名和命名空间，单击下一步后会出现一个请确认的弹框，单击是，即可使用默认的应用名（lws）和命名空间（lws-system）。然后选择Chart 版本为最新版本，单击确定即可完成lws组件的安装。

2. 模型部署。

   以下是vLLM分布式部署架构图。

   arena模型部署示例

   kubectl模型部署示例

   1. 执行以下命令部署服务。

      arena serve distributed \
              --name=vllm-dist \
              --version=v1 \
              --restful-port=8080 \
              --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.7.2 \
              --readiness-probe-action="tcpSocket" \
              --readiness-probe-action-option="port: 8080" \
              --readiness-probe-option="initialDelaySeconds: 30" \
              --readiness-probe-option="periodSeconds: 30" \
              --share-memory=30Gi \
              --data=llm-model:/models/DeepSeek-R1 \
              --leader-num=1 \
              --leader-gpus=8 \
              --leader-command="/vllm-workspace/ray_init.sh leader --ray_cluster_size=\$(LWS_GROUP_SIZE); vllm serve /models/DeepSeek-R1 --port 8080 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 8192 --gpu-memory-utilization 0.95 --tensor-parallel-size 8 --pipeline-parallel-size 2 --enforce-eager" \
              --worker-num=1 \
              --worker-gpus=8 \
              --worker-command="/vllm-workspace/ray_init.sh worker --ray_address=\$(LWS_LEADER_ADDRESS)" 

      展开查看参数解释

      参数	是否必选	说明
      --name	是	提交的推理服务名称，全局唯一。
      --image	是	推理服务的镜像地址。
      --restful-port	是	服务端口。
      --version	否	服务版本，默认为当前日期。
      --readiness-probe-*	否	为服务配置就绪检测，仅当服务就绪后才可对外提供服务。
      --share-memory	否	设置共享内存。
      --leader-num	是	leader pod数量，当前只支持设置为1。
      --leader-gpus	否	每个leader pod使用的GPU数量。
      --leader-command	是	leader pod的启动命令。
      --data	否	服务的模型地址，格式为<pvc-name>:<pod-path>。如上文命令llm-model:/mnt/models，即将llm-model PVC挂载到容器/mnt/models目录下。

      预期输出如下所示。

      configmap/vllm-dist-v1-cm created
      service/vllm-dist-v1 created
      leaderworkerset.leaderworkerset.x-k8s.io/vllm-dist-v1-distributed-serving created
      INFO[0002] The Job vllm-dist has been submitted successfully
      INFO[0002] You can run `arena serve get vllm-dist --type distributed-serving -n default` to check the job status

   2. 执行下列命令，查看验证推理服务的部署情况。

      arena serve get vllm-dist

      预期输出如下所示。

      Name:       vllm-dist
      Namespace:  default
      Type:       Distributed
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    192.168.138.65
      Port:       RESTFUL:8080
      GPU:        16
      
      Instances:
        NAME                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                  ------   ---  -----  --------  ---  ----
        vllm-dist-v1-distributed-serving-0    Running  3m   1/1    0         8    cn-beijing.10.x.x.x
        vllm-dist-v1-distributed-serving-0-1  Running  3m   1/1    0         8    cn-beijing.10.x.x.x

   1. 执行以下DeepSeek_R1.yaml文件部署模型服务。

      apiVersion: leaderworkerset.x-k8s.io/v1
      kind: LeaderWorkerSet
      metadata:
        name: vllm-dist
      spec:
        replicas: 1
        leaderWorkerTemplate:
          size: 2
          restartPolicy: RecreateGroupOnPodRestart
          leaderTemplate:
            metadata:
              labels: 
                role: leader
            spec:
              volumes:
                - name: model
                  persistentVolumeClaim:
                    claimName: llm-model
                - name: dshm
                  emptyDir:
                    medium: Memory
                    sizeLimit: 15Gi
              containers:
                - name: vllm-leader
                  image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.7.2
                  command:
                    - sh
                    - -c
                    - /vllm-workspace/ray_init.sh leader --ray_cluster_size=$(LWS_GROUP_SIZE); vllm serve /models/DeepSeek-R1 --port 8080 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 8192 --gpu-memory-utilization 0.95 --tensor-parallel-size 8 --pipeline-parallel-size 2 --enforce-eager
                  resources:
                    limits:
                      nvidia.com/gpu: "8"
                    requests:
                      nvidia.com/gpu: "8"
                  ports:
                    - containerPort: 8080
                  readinessProbe:
                    initialDelaySeconds: 30
                    periodSeconds: 30
                    tcpSocket:
                      port: 8080
                  volumeMounts:
                    - mountPath: /models/DeepSeek-R1
                      name: model
                    - mountPath: /dev/shm
                      name: dshm
          workerTemplate:
            spec:
              volumes:
                - name: model
                  persistentVolumeClaim:
                    claimName: llm-model
                - name: dshm
                  emptyDir:
                    medium: Memory
                    sizeLimit: 15Gi
              containers:
                - name: vllm-worker
                  image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.7.2
                  command:
                    - sh
                    - -c
                    - "/vllm-workspace/ray_init.sh worker --ray_address=$(LWS_LEADER_ADDRESS)"
                  resources:
                    limits:
                      nvidia.com/gpu: "8"
                    requests:
                      nvidia.com/gpu: "8"
                  ports:
                    - containerPort: 8080
                  volumeMounts:
                    - mountPath: /models/DeepSeek-R1
                      name: model
                    - mountPath: /dev/shm
                      name: dshm
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: vllm-dist-v1
      spec:
        type: ClusterIP
        ports:
        - port: 8080
          protocol: TCP
          targetPort: 8080
        selector:
          leaderworkerset.sigs.k8s.io/name: vllm-dist
          role: leader

      kubectl create -f DeepSeek_R1.yaml

   2. 执行下列命令，查看验证推理服务的部署情况。

      kubectl get po |grep vllm-dist

      预期输出如下所示。

      NAME            READY   STATUS    RESTARTS   AGE
      vllm-dist-0     1/1     Running   0          20m
      vllm-dist-0-1   1/1     Running   0          20m

3. 建立本地端口转发发送模型推理请求。

   1. 使用kubectl port-forward在推理服务与本地环境间建立端口转发。

      说明

      请注意kubectl port-forward建立的端口转发不具备生产级别的可靠性、安全性和扩展性，因此仅适用于开发和调试目的，不适合在生产环境使用。更多关于Kubernetes集群内生产可用的网络方案的信息，请参见Ingress管理。

      kubectl port-forward svc/vllm-dist-v1 8080:8080

   2. 发送模型推理请求。

      curl http://localhost:8080/v1/completions -H "Content-Type: application/json" -d '{
          "model": "deepseek-r1",
          "prompt": "San Francisco is a",
          "max_tokens": 10,
          "temperature": 0.6
      }'

      预期输出如下所示。

      {"id":"cmpl-15977abb0adc44d9aa03628abe9fcc81","object":"text_completion","created":1739346042,"model":"ds","choices":[{"index":0,"text":" city that needs no introduction. Known for its iconic","logprobs":null,"finish_reason":"length","stop_reason":null,"prompt_logprobs":null}],"usage":{"prompt_tokens":5,"total_tokens":15,"completion_tokens":10,"prompt_tokens_details":null}}

2.1. 配置DeepSeek模型

1. 登录Dify应用。登录后点击头像，选择设置。点击左侧模型供应商，在右侧找到OpenAI-API-compatible，点击添加模型。

2. 模型参数配置如下所示。

   参数名称	设置	备注

   参数名称	设置	备注
   模型名称	deepseek-r1	不可修改。
   API Key	如api-deepseek-r1	可自行设置。
   API endpoint URL	http://vllm-dist-v1.default:8080/v1	不可修改。值为第二步部署的本地DeepSeek服务名称。

   

2.2. 创建聊天助手应用

创建一个通用型AI问答助手。依次单击工作室>创建空白应用，并为AI问答助手输入名称和描述，其他参数保持默认即可。

2.3. 验证AI问答助手

1. 现在您可以在页面右侧与DeepSeek进行对话。

   

2. 如果您想将配置完成的DeepSeek问答助手集成到您的个人生产环境。具体操作，请参见应用到生产环境。