在容器计算服务ACS中使用PPU

单机多卡任务

以下示例以创建 Pod 为例（Deployment 或 Job 等工作负载创建方式类似），展示如何在ACS 中部署一个模型训练任务。

1. 登录容器计算服务控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 容器组。

3. 在容器组页面，单击使用YAML创建资源。在编辑框中输入以下 YAML 编排。该示例演示了如何创建一个申请了 GPU 资源、挂载了持久化存储且支持 RDMA 网络加速的任务。

   apiVersion: v1
   kind: Pod
   metadata:
     name: training-demo
     labels:
       # 算力分级标签：指定使用高主频 GPU 实例
       alibabacloud.com/compute-class: gpu-hpn
       # 开启 RDMA 网络加速，提升分布式训练性能
       alibabacloud.com/hpn-type: "rdma"
   spec:
     # 【重要】镜像拉取凭证
     # 如果您的镜像托管在企业版 ACR 等私有仓库，必须在此指定已创建的 Secret 名称
     imagePullSecrets:
       - name: <YOUR_IMAGE_SECRET> 
     containers:
       - name: training-demo
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-xpu-pytorch:24.09
         env:
         - name: USE_PRETRAIN
           value: "true"
         - name: PRETRAIN_PATH
           value: "/opt/ljperf/benchmark/models/mmdetection/model_configs/ssd/"
         command: ["/bin/bash"]
         args: ["-c", "ljperf benchmark --model cv/ssd"]
         resources:
           limits:
             cpu: 50
             memory: 500G
             # 申请算力资源：此处以 16 个 PPU 为例
             alibabacloud.com/ppu: 16
           requests:
             cpu: 50
             memory: 500G
             alibabacloud.com/ppu: 16
         volumeMounts:
           # 共享内存挂载，防止训练过程中 DataLoader 报错
           - name: dshm
             mountPath: /dev/shm          
           # 【重要】模型与数据集挂载
           # 将 PVC 中的子路径挂载到容器内指定的模型和数据存放目录
           - name: data
             mountPath: /opt/ljperf/benchmark/models/mmdetection/model_configs/ssd/
             subPath: shared/public/model_configs/ssd
           - name: data
             mountPath: /opt/ljperf/benchmark/models/mmdetection/data/coco
             subPath: shared/public/dataset/coco
     volumes:
       - name: dshm
         emptyDir:
           medium: Memory
           sizeLimit: 1000Gi
       # 【重要】定义持久化存储卷
       - name: data
         persistentVolumeClaim:
           # 必须确保已在集群中提前创建好该 PVC 名称（如 cnp0）
           # 该 PVC 通常绑定了 NAS 或 OSS 存储，用于存放大型训练数据集
           claimName: <YOUR_PVC>

   为了确保任务成功运行，请在单击创建前重点检查以下配置：

   • 镜像拉取凭证 (imagePullSecrets)：
     由于训练镜像通常较大或存放在私有仓库（如示例中的 cn-wulanchabu.cr.aliyuncs.com），需预先在集群同一命名空间下创建一个类型为 docker-registry 的 Secret，然后将示例中<YOUR_IMAGE_SECRET>替换为实际创建的Secret名称。

   • 持久化存储声明（PVC）：

     • claimName：示例中的<YOUR_PVC>需替换为实际创建的 PVC 名称。

     • 用途：模型训练通常涉及海量数据，建议通过 NAS 类型的 PVC 挂载数据集，以支持多 Pod 共享访问并保证 I/O 性能。

4. 运行成功后，可在目标Pod详情页，单击日志查看。

多机多卡训练任务

多机多卡任务需要调度编排支持，如果您有自己的编排调度方案，可以部署自己的方案。

如果您对编排调度无特殊要求可以部署社区的Kubeflow方案。确保平台已经支持PyTorchJob CRD之后，就可以像创建单机多卡任务中的工作负载一样创建PyTorchJob多机训练任务，示例YAML文件如下：

apiVersion: "kubeflow.org/v1"
kind: PyTorchJob
metadata:
  name: pytorchjob-llama3-8b 
  namespace: llm-training  
  labels:
    alibabacloud.com/compute-class: gpu-hpn
    alibabacloud.com/hpn-type: "rdma"
spec:
  pytorchReplicaSpecs:
    Master:
      replicas: 1
      restartPolicy: Never
      template:
        metadata:
          labels:
            alibabacloud.com/compute-class: gpu-hpn
            alibabacloud.com/hpn-type: "rdma"
          annotations:
            sidecar.istio.io/inject: "false"
        spec:
          imagePullSecrets:
          - name: acs-image-secret #需要和上述创建Secret的name一致
          containers:
            - name: pytorch
              imagePullPolicy: Always
              image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-xpu-pytorch:24.09
              securityContext:
                privileged: true
                capabilities:
                    add:
                      - IPC_LOCK
              command: ["/bin/bash"]
              args: ["-c", "ljperf benchmark --model deepspeed/llama3-8b"]
              resources:
                limits:
                  alibabacloud.com/ppu: 16 
                  cpu: 90
                  memory: 1000Gi
                  ephemeral-storage: 1000Gi
              volumeMounts:
                - mountPath: /dev/shm
                  name: dshm
              env:
                - name: KUBERNETES_POD_NAME
                  valueFrom:
                    fieldRef:
                       apiVersion: v1
                       fieldPath: metadata.name
          hostNetwork: true
          hostIPC: true
          dnsPolicy: ClusterFirstWithHostNet
          volumes:
              - emptyDir:
                  medium: Memory
                  sizeLimit: 1000Gi
                name: dshm
          
    Worker:
      replicas: 1
      restartPolicy: Never
      template:
        metadata:
          labels:
            alibabacloud.com/compute-class: gpu-hpn
            alibabacloud.com/hpn-type: "rdma"
          annotations:
            sidecar.istio.io/inject: "false"
        spec:
          imagePullSecrets:
          - name: acs-image-secret #需要和上述创建Secret的name一致
          containers:
            - name: pytorch
              imagePullPolicy: Always
              image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-xpu-pytorch:24.09
              securityContext:
                privileged: true
                capabilities:
                    add:
                      - IPC_LOCK
              command: ["/bin/bash"]
              args: ["-c", "ljperf benchmark --model deepspeed/llama3-8b"]
              resources:
                limits:
                  alibabacloud.com/ppu: 16 
                  cpu: 90
                  memory: 1000Gi
                  ephemeral-storage: 1000Gi
              volumeMounts:
                - mountPath: /dev/shm
                  name: dshm
              env:
                - name: KUBERNETES_POD_NAME
                  valueFrom:
                    fieldRef:
                       apiVersion: v1
                       fieldPath: metadata.name
          hostNetwork: true
          hostIPC: true
          dnsPolicy: ClusterFirstWithHostNet
          volumes:
              - emptyDir:
                  medium: Memory
                  sizeLimit: 1000Gi
                name: dshm