监控集群GPU资源最佳实践

注意事项

• 当前GPU监控指标的采集间隔为15秒，这可能导致Grafana监控仪表盘展示的数据存在一定延迟。因此可能会出现在监控显示节点无可用显存，但实际Pod还能调度到该节点上。出现该现象可能是在两次监控采集之间（15 秒内）有Pod完成任务并释放GPU资源，调度器感知后，将处于Pending的Pod调度到这个节点上。

• 监控大盘只支持监控通过在Pod中配置resources.limits的方式申请的GPU资源。更多信息，请参见为Pod和容器管理资源。

  节点使用GPU资源时存在以下情况，可能会导致监控大盘的数据不准确：

  • 直接在节点上运行GPU应用。

  • 通过docker run命令直接启动容器运行GPU应用。

  • 在Pod的env中直接添加环境变量NVIDIA_VISIBLE_DEVICES=all或NVIDIA_VISIBLE_DEVICES=<GPU ID>等，通过环境变量NVIDIA_VISIBLE_DEVICES直接为Pod申请GPU资源，并且运行了GPU程序。

  • 在Pod的securityContext中配置privileged: true，并且运行了GPU程序。

  • 在Pod中未设置环境变量NVIDIA_VISIBLE_DEVICES，但Pod所使用的镜像在制作时，默认配置环境变量NVIDIA_VISIBLE_DEVICES=all，并且运行了GPU程序。

• GPU卡已分配的显存和已使用的显存不一定相同。例如某一张GPU卡共有16 GiB显存，为某个Pod分配了5 GiB显存，但Pod的启动命令为sleep 1000，即Pod处于Running但需要经过1000秒后才会使用GPU，因此存在GPU卡已分配的显存为5 GiB，但已使用的显存为0 GiB的情况。

步骤一：创建节点池

Pod按整张卡方式或显存维度申请GPU资源（包括申请GPU算力资源），GPU监控大盘均可以展示其相关指标。

本示例将在集群中创建三个节点池，展示不同GPU资源申请模式下的Pod调度与资源占用情况。关于创建节点池的具体步骤，请参见创建节点池。节点池部分信息如下：

步骤二：部署GPU应用

节点池创建完成后，为了验证节点GPU相关指标是否正常，需要在节点上运行一些GPU测试任务。可参见GPU节点调度属性标签了解各任务所需匹配标签及调度关系。三个任务的部分信息如下：

1. 创建Job文件。

   • 使用以下YAML内容，创建tensorflow-benchmark-exclusive.yaml文件。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 #申请1张GPU卡。
             workingDir: /root
           restartPolicy: Never

   • 使用以下YAML内容，创建tensorflow-benchmark-share-mem.yaml文件。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #申请10 GiB显存。
             workingDir: /root
           restartPolicy: Never

   • 使用以下YAML内容，创建tensorflow-benchmark-share-mem-core.yaml文件。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #申请10 GiB显存。
                 aliyun.com/gpu-core.percentage: 30  #申请1张卡的30%算力。
             workingDir: /root
           restartPolicy: Never

2. 执行以下命令，部署Job任务。

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. 执行以下命令，查看Pod的运行状态。

   kubectl get pod

   预期输出：

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   由预期输出得到，Pod均处于Running状态，表示Job任务部署成功。

步骤三：查看GPU监控大盘