配置及管理ack-nvidia-device-plugin组件

查看NVIDIA Device Plugin版本

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. 升级ack-nvidia-device-plugin组件。

   1.32及以上集群版本

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，单击组件管理。

   3. 在组件管理页面，搜索ack-nvidia-device-plugin组件，在其卡片位置单击升级。

   4. 在弹出的对话框中，单击确定。

   1.20至1.31间集群版本

   1. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点。

   2. 选中需要批量维护的GPU节点，在节点列表下方单击批量运维，然后在批量运维对话框选择执行Shell命令，单击确定。

      重要

      建议先选择少量GPU节点进行升级，操作完成验证节点Device Plugin正常工作后，再大批量操作。

   3. 在自动跳转的OOS界面，选择执行模式为失败暂停后，单击下一步：设置参数。

   4. 在设置参数页面，选择运行Shell脚本，并粘贴如下示例脚本。

      说明

      脚本中RUN_PKG_VERSION参数需修改为集群对应的大版本号（例如：1.30）。请勿填入小版本号（例如：1.30.1），否则会导致脚本报错。

      #!/bin/bash
      set -e
      
      RUN_PKG_VERSION=1.30
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$(curl -ssL 100.100.100.200/latest/meta-data/region-id  2> /dev/null || echo "")
      	if [[ $region_id == "" ]]; then
      		echo "Error: failed to get region id,region id is null"
      		exit 1
      	fi
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. 单击下一步：确定，确认信息无误后单击创建。

      创建后自动跳转至任务执行管理页面，可查看任务运行状态。查看执行输出为succeeded to update device plugin，表明更新成功。

2. 检查组件是否正常运行。

   执行如下命令，查看GPU节点上Device Plugin是否正常工作。

   1. 在Workbench或CloudShell上使用kubectl连接集群。

   2. 使用如下命令检查NVIDIA Device Plugin是否重启：

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      示例输出，通过AGE时间判断Pod是否重启。

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. 判断所有Pod重启后，执行如下脚本检测节点是否上报GPU资源：

      #!/bin/bash
      
      # 获取所有符合条件的 NVIDIA Device Plugin Pod及其所在节点
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # 遍历每个 Pod 的节点
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # 获取节点的 nvidia.com/gpu 资源分配值
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # 检查资源值是否为 0
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      如果出现节点上报资源为0， 可参考重启NVIDIA Device Plugin。