ACK集群默认安装的NVIDIA驱动版本为418.87.01,如果您使用的CUDA库需要匹配更高版本的NVIDIA驱动,需要自定义安装节点的NVIDIA驱动。本文介绍在不使用现有节点的场景下,如何通过节点池创建新NVIDIA驱动版本的节点。

基于节点池安装节点NVIDIA驱动的优势

可以实现对集群中不同节点上的NVIDIA驱动的批量管理功能。以下是两个使用示例:

  • 将集群中需要安装418.181.07版本的节点用节点池A管理,如果需要将任务调度到NVIDIA驱动版本为418.181.07的节点上,只需要将任务的selector指定为节点池A的标签即可。
  • 将集群中的一部分节点安装418.181.07的驱动,而另一部分的节点安装版本为450.102.0的驱动。此时,可以将一部分节点添加到节点池A,另一部分节点添加到节点池B。

步骤一:确定NVIDIA驱动版本

您所使用的CUDA库与哪些NVIDIA驱动兼容是NVIDIA驱动版本选定的最重要依据。以下是CUDA库与NVIDIA驱动的兼容关系。

1

步骤二:创建节点池并指定驱动版本

方式一:从容器服务提供的可用驱动版本列表中选择驱动创建节点池

说明 选择此种方式安装驱动比较简单,只需要给节点池的节点打上标签ack.aliyun.com/nvidia-driver-version=<驱动版本>,然后将前面步骤中集群移除的节点添加到该节点池即可。

本文以418.181.07版本为例介绍整个操作流程:

  1. 登录容器服务管理控制台
  2. 在控制台左侧导航栏中,单击集群
  3. 集群列表页面中,单击目标集群名称或者目标集群右侧操作列下的详情
  4. 在集群管理页左侧导航栏中,选择节点管理 > 节点池
  5. 单击右上角创建节点池
  6. 创建节点池对话框中配置相关参数。有关配置项的详细说明,请参见创建Kubernetes专有版集群。部分配置项说明如下:
    1. 单击显示高级选项
    2. 节点标签参数栏添加标签,单击1图标,在文本框中输入ack.aliyun.com/nvidia-driver-version,在文本框中输入418.181.07

      容器服务提供可用NVIDIA驱动版本如下:

      • 418.181.07
      • 450.102.04
      • 460.32.03
    3. 参数配置完成后,单击确认配置

方式二:自定义驱动版本创建节点池

自定义驱动版本

以下以上传NVIDIA-Linux-x86_64-460.32.03.run驱动文件为例介绍如何自定义驱动版本。驱动文件可以在NVIDIA官方网站下载

说明 NVIDIA-Linux-x86_64-460.32.03.run需要放在OSS Bucket的根目录下。
  1. 在对象存储OSS管理控制台中创建Bucket。具体操作,请参见创建存储空间
  2. NVIDIA-Linux-x86_64-460.32.03.run驱动文件上传至OSS。具体操作,请参见上传文件
  3. 文件上传成功后,在对象存储管理页左侧导航栏中,单击文件管理
  4. 文件管理页面,单击已上传驱动文件右侧操作列下的详情
  5. 详情面板,关闭使用HTTPS开关,取消使用HTTPS的配置。
    说明 ACK创建集群时会通过URL拉取驱动文件,URL中使用的协议是HTTP协议。OSS默认使用的是HTTPS协议,您需要单击使用HTTPS按钮,取消使用HTTPS的配置。
  6. 确认驱动文件配置信息。记录该文件的URL,且将URL拆成两部分,即endpointrunfile。以http://nvidia-XXX-XXX-cn-beijing.aliyuncs.com/NVIDIA-Linux-x86_64-460.32.03.run为例,将其分成以下两部分:
    • endpoint:nvidia-XXX-XXX-cn-beijing.aliyuncs.com
    • runfile:NVIDIA-Linux-x86_64-460.32.03.run

通过自定义驱动版本后创建节点池

  1. 登录容器服务管理控制台
  2. 在控制台左侧导航栏中,单击集群
  3. 集群列表页面中,单击目标集群名称或者目标集群右侧操作列下的详情
  4. 在集群管理页左侧导航栏中,选择节点管理 > 节点池
  5. 单击右上角创建节点池
  6. 创建节点池对话框中配置相关参数。有关配置项的详细说明,请参见创建Kubernetes专有版集群。部分配置项说明如下:
    1. 单击显示高级选项
    2. 节点标签参数栏添加两个标签,单击1图标:
      • 输入第一个标签的ack.aliyun.com/nvidia-driver-oss-endpointnvidia-XXX-XXX-cn-beijing.aliyuncs.com
      • 输入第二个标签的ack.aliyun.com/nvidia-driver-runfileNVIDIA-Linux-x86_64-460.32.03.run
    3. 参数配置完成后,单击确认配置

步骤三:验证通过节点池自定义安装NVIDIA驱动是否成功

  1. 在目标集群右侧操作列选择更多 > 通过CloudShell管理集群
  2. 执行以下命令,查看带有component: nvidia-device-plugin标签的Pod。
    kubectl get po -n kube-system -l component=nvidia-device-plugin -o wide

    预期输出:

    NAME                                            READY   STATUS    RESTARTS   AGE   IP              NODE                       NOMINATED NODE   READINESS GATES
    nvidia-device-plugin-cn-beijing.192.168.1.127   1/1     Running   0          6d    192.168.1.127   cn-beijing.192.168.1.127   <none>           <none>
    nvidia-device-plugin-cn-beijing.192.168.1.128   1/1     Running   0          17m   192.168.1.128   cn-beijing.192.168.1.128   <none>           <none>
    nvidia-device-plugin-cn-beijing.192.168.8.12    1/1     Running   0          9d    192.168.8.12    cn-beijing.192.168.8.12    <none>           <none>
    nvidia-device-plugin-cn-beijing.192.168.8.13    1/1     Running   0          9d    192.168.8.13    cn-beijing.192.168.8.13    <none>           <none>
    nvidia-device-plugin-cn-beijing.192.168.8.14    1/1     Running   0          9d    192.168.8.14    cn-beijing.192.168.8.14    <none>           <none>

    通过NODE列找到集群中刚添加节点所对应的Pod名称为nvidia-device-plugin-cn-beijing.192.168.1.128

  3. 执行以下命令查看节点的驱动版本是否符合预期。
    kubectl exec -ti nvidia-device-plugin-cn-beijing.192.168.1.128 -n kube-system -- nvidia-smi 

    预期输出:

    Sun Feb  7 04:09:01 2021       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 418.181.07   Driver Version: 418.181.07   CUDA Version: N/A      |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  Tesla V100-SXM2...  On   | 00000000:00:07.0 Off |                    0 |
    | N/A   27C    P0    40W / 300W |      0MiB / 16130MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    |   1  Tesla V100-SXM2...  On   | 00000000:00:08.0 Off |                    0 |
    | N/A   27C    P0    40W / 300W |      0MiB / 16130MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    |   2  Tesla V100-SXM2...  On   | 00000000:00:09.0 Off |                    0 |
    | N/A   31C    P0    39W / 300W |      0MiB / 16130MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    |   3  Tesla V100-SXM2...  On   | 00000000:00:0A.0 Off |                    0 |
    | N/A   27C    P0    41W / 300W |      0MiB / 16130MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+

    从以上输出的信息,可以知道驱动版本为418.181.07,通过节点池自定义安装NVIDIA驱动成功。