GPU FAQ

阿里云容器服务是否支持GPU虚拟化型（vGPU）实例？

vGPU实例需要购买NVIDIA官方提供的GRID License才能正常工作，而阿里云并不提供License服务器。因此即使您创建了GPU虚拟化集群，vGPU实例也无法使用。因此，阿里云容器服务已不再支持在控制台选择vGPU实例作为集群节点。

不支持的vGPU实例包括以ecs.vgn5i、ecs.vgn6i、ecs.vgn7i、ecs.sgn7i为前缀的ECS实例。如果需要使用vGPU实例，请向NVIDIA购买GRID License并自建License服务器。

如果您的License服务器已经搭建完成，请参考以下步骤将vGPU实例加入ACK集群。

将vGPU实例加入ACK集群

1. 请前往权益配额，申请开放自定义系统镜像功能。

2. 基于CentOS 7.X和Alibaba Cloud Linux 2制作自定义系统镜像，镜像中需要安装NVIDIA GRID驱动并且正确配置GRID License。具体操作，请参见使用实例创建自定义镜像和在GPU虚拟化型实例中安装GRID驱动（Linux）。

3. 创建节点池。具体操作，请参见创建和管理节点池。

4. 将vGPU实例加入到步骤3创建的节点池中，具体操作，请参见添加已有节点。

后续相关步骤：更新ACK集群中vGPU实例的NVIDIA驱动License

更新ACK集群中vGPU实例的NVIDIA驱动License，具体操作，请参见更新ACK集群中GPU虚拟化型（vGPU）实例的NVIDIA驱动License。

如何在已有集群的GPU节点上手动升级Kernel？

1. 将GPU节点设置为不可调度（本例以节点 cn-beijing.i-2ze19qyi8votgjz12345为例）。

   kubectl cordon cn-beijing.i-2ze19qyi8votgjz12345
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 already cordoned

2. 将要升级驱动的GPU节点进行排水。

   kubectl drain cn-beijing.i-2ze19qyi8votgjz12345 --grace-period=120 --ignore-daemonsets=true
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 cordoned
   WARNING: Ignoring DaemonSet-managed pods: flexvolume-9scb4, kube-flannel-ds-r2qmh, kube-proxy-worker-l62sf, logtail-ds-f9vbg
   pod/nginx-ingress-controller-78d847fb96-5fkkw evicted

3. 卸载当前的NVIDIA驱动。

   说明

   本步骤中卸载的是版本为384.111的驱动包，如果您的驱动版本不是384.111，请在NVIDIA官网下载对应版本的驱动安装包，并替换相应的版本号。

   1. 登录到该GPU节点，通过nvidia-smi查看驱动版本。

      sudo nvidia-smi -a | grep 'Driver Version'
      Driver Version                      : 384.111

   2. 下载NVIDIA驱动安装包。

      sudo cd /tmp/
      sudo curl -O https://cn.download.nvidia.cn/tesla/384.111/NVIDIA-Linux-x86_64-384.111.run

      说明

      需要在安装包中卸载NVIDIA。

   3. 卸载当前NVIDIA驱动。

      sudo chmod u+x NVIDIA-Linux-x86_64-384.111.run
      sudo sh ./NVIDIA-Linux-x86_64-384.111.run --uninstall -a -s -q

4. 升级Kernel。

5. 重启GPU机器。

   sudo reboot

6. 重新登录GPU节点，安装对应的Kernel Devel。

   sudo yum install -y kernel-devel-$(uname -r)

7. 请到NVIDIA官网下载和安装您需要的NVIDIA驱动。本文以410.79为例。

   sudo cd /tmp/
   sudo curl -O https://cn.download.nvidia.cn/tesla/410.79/NVIDIA-Linux-x86_64-410.79.run
   sudo chmod u+x NVIDIA-Linux-x86_64-410.79.run
   sudo sh ./NVIDIA-Linux-x86_64-410.79.run -a -s -q
   
   # warm up GPU
   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

8. 查看 /etc/rc.d/rc.local，确认其中是否包含以下配置，如果没有请手动添加。

   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

9. 重启kubelet和Docker。

   sudo service kubelet stop
   sudo service docker restart
   sudo service kubelet start

10. 将这个GPU节点重新设置为可调度。

    kubectl uncordon cn-beijing.i-2ze19qyi8votgjz12345
    
    node/cn-beijing.i-2ze19qyi8votgjz12345 already uncordoned

11. 在GPU节点上的Device Plugin Pod验证版本。

    kubectl exec -n kube-system -t nvidia-device-plugin-cn-beijing.i-2ze19qyi8votgjz12345 nvidia-smi
    Thu Jan 17 00:33:27 2019
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 410.79       Driver Version: 410.79       CUDA Version: N/A      |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  Tesla P100-PCIE...  On   | 00000000:00:09.0 Off |                    0 |
    | N/A   27C    P0    28W / 250W |      0MiB / 16280MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+

    说明

    如果通过docker ps命令，发现GPU节点没有容器被启动，请参见修复GPU节点容器启动问题。

修复GPU节点容器启动问题

sudo service kubelet stop
Redirecting to /bin/systemctl stop kubelet.service
sudo service docker stop
Redirecting to /bin/systemctl stop docker.service
sudo service docker start
Redirecting to /bin/systemctl start docker.service
sudo service kubelet start
Redirecting to /bin/systemctl start kubelet.service

sudo docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

sudo docker info | grep -i cgroup
Cgroup Driver: cgroupfs

您可以按照以下操作，修复该问题。

1. 备份/etc/docker/daemon.json，完成后，执行以下命令更新/etc/docker/daemon.json。

   sudo cat >/etc/docker/daemon.json <<-EOF
   {
       "default-runtime": "nvidia",
       "runtimes": {
           "nvidia": {
               "path": "/usr/bin/nvidia-container-runtime",
               "runtimeArgs": []
           }
       },
       "exec-opts": ["native.cgroupdriver=systemd"],
       "log-driver": "json-file",
       "log-opts": {
           "max-size": "100m",
           "max-file": "10"
       },
       "oom-score-adjust": -1000,
       "storage-driver": "overlay2",
       "storage-opts":["overlay2.override_kernel_check=true"],
       "live-restore": true
   }
   EOF

2. 重启Docker和kubelet。

   sudo service kubelet stop
   Redirecting to /bin/systemctl stop kubelet.service
   sudo service docker restart
   Redirecting to /bin/systemctl restart docker.service
   sudo service kubelet start
   Redirecting to /bin/systemctl start kubelet.service

3. 确认Docker的Cgroup Driver的类型为systemd。

   sudo docker info | grep -i cgroup
   Cgroup Driver: systemd

裸金属实例节点添加失败怎么办？

由于裸金属实例（ecs.ebmgn7）支持开启MIG。为避免已有MIG设置对节点部署造成影响，系统会在该类型节点每一次添加进集群时对已有的MIG设置进行重置。由于该类型实例的重置时间不定，可能会出现重置时间过长的情况，从而导致添加节点脚本运行超时添加节点失败。

如果该系列节点添加失败，请在节点宿主机上执行以下命令：

sudo cat /var/log/ack-deploy.log

command timeout: timeout 300 nvidia-smi --gpu-reset

如果存在该报错，说明添加节点失败是由MIG的reset引起的。请重新添加该节点，详细信息，请参见添加已有节点。

Alibaba Cloud Linux 3运行GPU容器出现Failed to initialize NVML: Unknown Error的问题怎么办？

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

使用GPU时出现XID 119/XID 120错误导致GPU掉卡怎么办？

如何手动隔离集群中的故障卡?

在使用共享GPU调度时，集群中可能会出现坏卡导致任务运行失败的情况。为防止重启后的任务再次调度到坏卡上导致重复失败，您可以手动标记坏卡，调度器将不再使用该卡，从而实现故障隔离。

您可以通过向集群中提交一个特殊的ConfigMap的方式来标记故障GPU，参考以下示例：

apiVersion: v1
kind: ConfigMap
metadata:
  name: <node-name>-device-status   # 替换 <node-name>为实际的节点名。
  namespace: kube-system
data:
  devices: |
    - deviceId: 0          #执行nvidia-smi获取GPU序号
      deviceType: gpu
      healthy: false

ConfigMap应在kube-system命名空间中，且命名应当为故障卡所在的节点名加上-device-status后缀。data中deviceId为通过nvidia-smi获取的GPU序号，deviceType为gpu，healthy为false。提交配置后，调度器将隔离对应GPU卡。

运行GPU容器出现Failed to initialize NVML: Unknown Error的问题怎么办？

sudo nvidia-smi

Failed to initialize NVML: Unknown Error