在GPU-HPN节点上使用GPU共享调度

资源配置及QoS

GPU共享资源使用Kubernetes的requests/limits约束来描述资源，支持以百分比的形式分别配置算力和显存。同时也支持limits大于requests的资源描述形式，因此可能会出现多个Pod同时争抢GPU资源的情况。ACS定义了GPU共享资源的QoS（服务质量），当节点中有多个Pod同时使用GPU资源时，Pod会排队并可能触发抢占。示例如下：

...
resources:
  requests:  # 控制节点上可调度的Pod数量
    alibabacloud.com/gpu-core.percentage: 10         # Pod需要使用的算力百分比。
    alibabacloud.com/gpu-memory.percentage: 10       # Pod需要使用的显存百分比。
  limits:    # 控制运行时可以使用的资源上限，具体效果请参见配置说明。
    alibabacloud.com/gpu-core.percentage: 100        # 算力用量上限
    alibabacloud.com/gpu-memory.percentage: 100      # 显存用量上限，超用会有CUDA OOM报错
...

与操作系统的进程管理机制类似，GPU共享模块会将Pod划分为三种类型，分别为“休眠”、“就绪”、“运行”，各状态的转换过程如图所示。

• Pod在启动后首先会被标记为“休眠”状态。

• 当Pod尝试使用GPU资源时，会被标记为“就绪”状态，GPU共享模块会按一定优先策略为Pod分配GPU资源。

• 当Pod分配到GPU后，会被标记为“运行”状态。

• 若所有资源分配后，仍有Pod处于“就绪”状态，则会触发抢占机制，以保障Pod之间的资源公平性。

• Pod被抢占时，占用GPU资源的进程会被kill，重新回到“休眠”状态。

资源共享模型

GPU共享调度基于共享模型，支持在一张GPU卡上同时运行多个Pod。目前ACS支持以下共享模型：

Notebook场景利用share-pool模式错峰使用资源案例

Notebook研发模式中，应用通常并不会长期持续占用资源，因此可以利用share-pool模式，让Pod错峰运行在不同的GPU卡上，当有资源需求时，Pod才会进入到就绪队列等待资源。

以下展示了一个Notebook场景的使用案例：

Pod A、B的资源描述为requests=0.5，limits=0.5，Pod C、D的资源描述为requests=0.5卡，limits=1卡。按照request需求，这些Pod可以同时调度到一个总量为2张卡的GPU-HPN节点。

T1时段：

1. 资源被Pod A和Pod C占用，Pod B和Pod D在就绪队列中等待调度。

2. GPU共享模块会尝试为队首的Pod D分配资源，但目前仅有GPU0只有0.5张卡的空闲资源，虽然Pod D的reqeust为0.5，从容量上可以满足需求，但考虑到Pod D的limit为1，Pod A和Pod D在同一张卡上运行会出现资源争抢，GPU共享模块会让Pod D排队等待资源。

T2时段-阶段一：

1. Pod C任务结束，进入休眠队列。

2. GPU 1空闲之后将资源分配给了Pod D。

T2时段-阶段二：

Pod B得到资源，Pod B的limit为0.5，可以和Pod A同时在GPU0上使用，不存在资源竞争。

步骤一：为GPU-HPN节点配置标签 

1. 查看GPU-HPN节点。

   重要

   开启前需要确保节点上不存在声明GPU独占资源的Pod，否则需要先将Pod删除才能开启。若Pod仅申请了CPU和内存资源则不需要删除。

   kubectl get node -l alibabacloud.com/node-type=reserved

   预期输出：

   NAME                     STATUS   ROLES   AGE   VERSION
   cn-wulanchabu-c.cr-xxx   Ready    agent   59d   v1.28.3-aliyun

2. 为节点cn-wulanchabu-c.cr-xxx增加标签alibabacloud.com/gpu-share-policy=share-pool，开启GPU共享调度功能。

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=share-pool

步骤二：查看对应节点的开启状态

等待节点功能开启完成，查看节点开启状态。在capacity字段中可以看到GPU共享资源，且conditions中的GPUSharePolicyValid提示为True，表示开启成功。

$ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

GPU共享策略生效后，节点状态会更新为以下形式。预期输出：

# 具体以实际情况为准
apiVersion: v1
kind: Node
spec: 
  # ...
status:
  allocatable:
    # GPU共享资源描述
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    # 功能开启后，预留CPU和内存资源给GPU共享模块使用
    cpu: "144"
    memory: 1640Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 6Ti
  capacity:
    # GPU共享资源描述
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    cpu: "176"
    memory: 1800Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 6Ti
  conditions:
  # 提示GPU Share策略配置正确性
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is valid.
    reason: Valied
    status: "True"
    type: GPUSharePolicyValid
  # 提示当前节点生效的GPU Share策略
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is share-pool.
    reason: share-pool
    status: "True"
    type: GPUSharePolicy

关于GPU共享资源各配置项的说明，请参见节点配置说明。

步骤三：使用GPU共享资源规格部署Pod

1. 创建gpu-share-demo.yaml，配置使用与节点相同的共享模型share-pool。

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       alibabacloud.com/compute-class: "gpu-hpn"
       # 指定Pod的GPU共享模型为share-pool，与节点配置一致
       alibabacloud.com/gpu-share-policy: "share-pool" # static
     name: gpu-share-demo
     namespace: default
   spec:
     containers:
     - name: demo
       image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
       args:
         - '1000h'
       command:
         - sleep
       # 资源描述中填写GPU共享资源gpu-core.percentage和gpu-memory.percentage
       # request和limit效果详见配置说明
       resources:
         limits:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 100
           alibabacloud.com/gpu-memory.percentage: 100
         requests:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 10
           alibabacloud.com/gpu-memory.percentage: 10

2. 部署示例Pod。

   kubectl apply -f gpu-share-demo.yaml

步骤四：查看Pod的GPU共享资源使用情况

登录容器，查看Pod的GPU共享资源使用情况。

kubectl exec -it pod gpu-share-demo -- /bin/bash

您可使用nvidia-smi等命令，查看容器GPU资源分配和使用情况，具体情况以实际输出为准。

（可选）步骤五：关闭节点GPU共享调度策略

1. 删除使用GPU共享功能的Pod。

   $ kubectl delete pod gpu-share-demo

2. 关闭节点的GPU共享调度功能。

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=none

3. 再次查看节点策略配置状态。

   $ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

   预期输出：

   apiVersion: v1
   kind: Node
   spec: 
     # ...
   status:
     allocatable:
       # 功能关闭后，预留CPU和内存资源恢复原值
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 6Ti
     capacity:
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 6Ti
     conditions:
     # 提示GPU Share策略配置正确性
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy config is valid.
       reason: Valid
       status: "True"
       type: GPUSharePolicyValid
     # 提示当前节点生效的GPU Share策略
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy is none.
       reason: none
       status: "False"
       type: GPUSharePolicy

节点配置说明

apiVersion: v1
kind: Node
metadata:
  labels:
    # 功能开启，使用share-pool策略，取值中可指定其他策略
    alibabacloud.com/gpu-share-policy: share-pool

apiVersion: v1
kind: Node
...
metadata:
  annotations:
    alibabacloud.com/gpu-share-qos-config: '{"preemptEnabled": true, "podMaxDurationMinutes": 120}'
...

Pod配置说明

功能开启后，在Pod中配置GPU共享资源标签即可使用该功能。

apiVersion: v1
kind: Pod
metadata:
  labels:
    # 仅支持gpu-hpn计算类
    alibabacloud.com/compute-class: "gpu-hpn"
    # 指定Pod的GPU共享模型为share-pool，与节点配置一致
    alibabacloud.com/gpu-share-policy: "share-pool"
  name: gpu-share-demo
  namespace: default
spec:
  containers:
  - name: demo
    image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
    args:
      - '1000h'
    command:
      - sleep
    resources:
      limits:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 100
        alibabacloud.com/gpu-memory.percentage: 100
      requests:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 10
        alibabacloud.com/gpu-memory.percentage: 10

配置项说明如下：

若节点无空闲GPU资源，就绪队列中的Pod会如何表现？

当GPU共享Pod等待资源时，会定时打印提示信息，样例如下。

You have been waiting for ${1} seconds。 Approximate position: ${2}

其中${1}参数表示已经等待的时间，${2}参数表示当前在“就绪队列”中的顺位。

GPU共享模式特有的Pod监控指标有哪些？

对于使用了GPU共享资源的Pod，可以通过以下指标查看Pod使用GPU共享资源的情况。

DCGM_FI_POOLING_STATUS{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

DCGM_FI_POOLING_POSITION{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

Pod使用GPU共享调度时，GPU利用率数据指标有什么区别？

Pod的GPU利用率指标与之前一致，但对于使用了GPU共享调度场景的Pod，指标的标签及含义有以下区别。

• ACS提供的Pod监控数据中，GPU算力利用率、显存用量等指标为基于整卡的绝对值，与GPU独占场景一致。

• 在Pod内通过nvidia-smi等命令看到的显存用量为绝对值，与GPU独占场景一致；但算力利用率为相对值，其分母为Pod的limit。

• Pod GPU利用率指标中的编号标签等设备信息对应节点上的真实编号，并不都是从0开始编号。

• 对于share-pool类型的共享模式，由于Pod会在所有GPU设备内弹性使用不同的卡设备，所以指标中的设备号可能会发生变化。

集群内仅开启了一部分GPU共享调度，如何避免GPU独占Pod调度冲突

ACS集群默认调度器会自动匹配Pod和Node类型，避免调度冲突。

若您使用了自定义调度器，由于节点容量中同时存在GPU设备资源和GPU共享资源，可能会导致GPU独占Pod调度到GPU共享节点上，您可选择以下两种方案：

• 方案一：编写调度器插件，自动感知ACS Node的配置标签和condition协议，过滤类型不符合的Node。更多信息，请参见K8s调度器框架介绍。

• 方案二：利用K8s的label或taint机制，在开启GPU共享调度的Node上增加label或taint，为GPU独占和共享Pod分别配置不同的亲和性策略。

GPU共享Pod被抢占时，有哪些提示信息可以查看

对于share-pool类型的共享模式，当触发抢占时，Pod会有Event和Condition提示。Event为非结构化的数据格式，若您需要读取结构化的数据内容，可以在对应Condition中的reason和status中获取，具体如下。

# 表示当前Pod的GPU资源被抢占，触发抢占的Pod名称是<new-pod-name>。
Warning  GPUSharePreempted  5m15s  gpushare   GPU is preempted by <new-pod-name>.
# 表示当前Pod抢占了其他Pod的GPU资源，被抢占的Pod名称是<old-pod-name>。
Warning  GPUSharePreempt    3m47s  gpushare   GPU is preempted from <old-pod-name>.

- type: Interruption.GPUShareReclaim # 表示GPU共享Pod抢占的事件类型
  status: "True" # True表示发生了抢占或者被抢占的行为
  reason: GPUSharePreempt # GPUSharePreempt表示抢占了其他Pod，GPUSharePreempted表示被其他pod抢占
  message: GPU is preempted from <old-pod-name>. # 与event类似的提示信息
  lastTransitionTime: "2025-04-22T08:12:09Z" # 发生抢占行为的时间
  lastProbeTime: "2025-04-22T08:12:09Z"