ACS集群形态的LLM大模型推理镜像使用指导

控制台方式

以下内容以无状态工作负载的创建为例说明（使用其他方式创建任务是类似的）。

1. 登录容器计算服务控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

3. 点击使用YAML创建资源，使用以下YAML创建无状态工作负载。配置完成后，点击创建。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: llm-test
     name: llm-test
     namespace: default
   spec:
     progressDeadlineSeconds: 600
     replicas: 1
     revisionHistoryLimit: 10
     selector:
       matchLabels:
         app: llm-test
     template:
       metadata:
         labels:
           alibabacloud.com/hpn-type: rdma
           alibabacloud.com/compute-class: gpu-hpn
           app: llm-test
       spec:
         containers:
           - command:
             - sh
             - -c
             - python3 -m vllm.entrypoints.openai.api_server --model /mnt/Qwen2.5-7B-Instruct --trust-remote-code  --tensor-parallel-size 8  --disable-custom-all-reduce
             # --tensor-parallel-size 8 为8卡并行
             # /mnt/Qwen2.5-7B-Instruct #为模型在pod中的路径
             image: acs-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference-xpu:vllm0.4.2-pytorch2.3-cuda12.3-ubuntu22.04
             imagePullPolicy: IfNotPresent
             name: llm-test
             resources:
               limits:
                 cpu: 176
                 memory: 1800G
                 alibabacloud.com/ppu: 16
               requests:
                 cpu: 176
                 memory: 1800G
                 alibabacloud.com/ppu: 16
             terminationMessagePath: /dev/termination-log
             terminationMessagePolicy: File
             volumeMounts:
               - mountPath: /mnt #NAS挂载路径
                 name: data
               - mountPath: /dev/shm
                 name: cache-volume
         dnsPolicy: ClusterFirst
         restartPolicy: Always
         schedulerName: default-scheduler
         securityContext: {}
         terminationGracePeriodSeconds: 30
         volumes:
           - name: data
             persistentVolumeClaim:
               claimName: nas-pvc-fs #nas-pvc-fs为通过NAS创建的存储声明
           - name: cache-volume
             emptyDir:
               medium: Memory
               sizeLimit: 500G

4. 返回集群工作负载页面，查看已创建的无状态工作负载Deployment。

   Pod为running状态即为创建成功，Pod启动后会自动启动vLLM serving服务。

5. 在工作负载的详情 > 日志下查看服务日志，有如下输出则说明服务启动成功。

   

kubectl方式

1. 通过kubectl客户端连接集群。具体操作，请参见获取集群kubeconfig并通过kubectl工具连接集群。

2. 将以下YAML示例内容写入文件llm-test.yaml。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: llm-test
     name: llm-test
     namespace: default
   spec:
     progressDeadlineSeconds: 600
     replicas: 1
     revisionHistoryLimit: 10
     selector:
       matchLabels:
         app: llm-test
     template:
       metadata:
         labels:
           alibabacloud.com/hpn-type: rdma
           alibabacloud.com/compute-class: gpu-hpn
           app: llm-test
       spec:
         containers:
           - command:
             - sh
             - -c
             - python3 -m vllm.entrypoints.openai.api_server --model /mnt/Qwen2.5-7B-Instruct --trust-remote-code  --tensor-parallel-size 8  --disable-custom-all-reduce
             # --tensor-parallel-size 8 为8卡并行
             # /mnt/Qwen2.5-7B-Instruct #为模型在pod中的路径
             image: acs-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference-xpu:vllm0.4.2-pytorch2.3-cuda12.3-ubuntu22.04
             imagePullPolicy: IfNotPresent
             name: llm-test
             resources:
               limits:
                 cpu: 176
                 memory: 1800G
                 alibabacloud.com/ppu: 16
               requests:
                 cpu: 176
                 memory: 1800G
                 alibabacloud.com/ppu: 16
             terminationMessagePath: /dev/termination-log
             terminationMessagePolicy: File
             volumeMounts:
               - mountPath: /mnt #NAS挂载路径
                 name: data
               - mountPath: /dev/shm
                 name: cache-volume
         dnsPolicy: ClusterFirst
         restartPolicy: Always
         schedulerName: default-scheduler
         securityContext: {}
         terminationGracePeriodSeconds: 30
         volumes:
           - name: data
             persistentVolumeClaim:
               claimName: nas-pvc-fs #nas-pvc-fs为通过NAS创建的存储声明
           - name: cache-volume
             emptyDir:
               medium: Memory
               sizeLimit: 500G

3. 通过YAML部署Deployment。

   kubectl --kubeconfig config apply -f llm-test.yaml

4. 创建成功后，通过以下命令查看Pod是否启动成功。

   Pod为Running状态即为启动成功。

   kubectl --kubeconfig config get pods

5. Pod启动成功后，可以通过kubectl logs查看vLLM服务是否启动成功。

   kubectl --kubeconfig config logs llm-test-68xxxxx9r5tf