ACK通过ack-node-problem-detector(简称ACK NPD)组件检测GPU资源健康状态。当GPU节点出现XID/SXID错误等异常时,ACK NPD组件自动检测异常GPU,配合ACK NVIDIA Device Plugin组件(独占GPU 调度场景)和 ack-ai-installer(共享GPU调度场景)可对异常GPU进行隔离,此时其他正常的GPU可以继续提供服务,以尽可能减少业务上的损失,提高集群的可靠性和运维效率。
ACK NPD是ACK基于社区开源项目node-problem-detector改造和增强的集群节点异常事件监控组件,提供丰富的GPU异常检测项以增强GPU场景的异常发现能力。发现对应的异常时,组件会根据异常类型产生相应的Kubernetes Event及Node Condition。
注意事项
-
隔离异常 GPU 卡后,若节点上剩余 GPU 不足以满足任务需求(如 8 卡任务在仅有 7 卡可用时),任务将无法调度,可能导致 GPU 资源闲置。 自动隔离并不等于自动修复,发生 GPU 卡自动隔离的节点实例将持续计费,您仍需修复节点,建议配置GPU 异常告警以便及时处理。 GPU状态恢复正常后,对该GPU设备的隔离会自动解除。
您也可以根据业务需求,开启/关闭GPU自动隔离。ACK NVIDIA Device Plugin组件在特定版本支持异常GPU卡自动隔离,且不同版本关闭该隔离能力的操作方式不同。详细操作,请参见 如何关闭NVIDIA Device Plugin原生GPU隔离能力。
-
NVIDIA的XID和SXID是由GPU驱动通过NVRM事件机制写入
/var/log/messages或/var/log/syslog中。ACK NPD会记录每个XID和SXID是否已被处理,发现XID或SXID后,只要对节点执行重启操作,无论这条XID或SXID对应的问题是否已被解决(例如XID 79指明需要更换GPU设备才能解决问题),ACK NPD都不会再对这条XID或SXID产生Event或Node Condition,即ACK NPD认为这条XID或SXID已被解决。 -
ACK NPD检测NVIDIA XID或者NVIDIA SXID是通过检测节点
/var/log/messages文件或/var/log/syslog文件完成的。如果dmesg日志被重定向到其他文件,ACK NPD将无法检测NVIDIA XID和SXID。 -
从ACK NPD 1.2.29版本开始,ACK NPD的GPU异常检测插件单独以DaemonSet方式部署,DaemonSet名称为ack-accel-health-monitor。
-
某些情况下,节点出现GPU异常后可能导致节点上无法创建GPU容器,GPU异常检测容器也可能因此创建失败,继而检测工作无法正常执行。
-
由于ACK NPD的GPU异常检测插件Pod需要检测GPU设备和GPU组件状态,需要开启
privileged: true等高权限,具体参考下表。集群RBAC权限
容器权限
Node: get
Node/Status: update
Events: create
privileged: true只读挂载宿主机
/dev/kmsg只读挂载宿主机
/usr/lib只读挂载宿主机
/etc只读挂载宿主机
/usr/lib64只读挂载宿主机
/proc
GPU自动隔离机制
独占GPU调度
自 ACK NPD组件 1.2.35 版本及ACK NVIDIA Device Plugin组件 0.7.0 版本起,GPU 自动隔离的触发方式将由默认触发调整为按配置触发。更多详细内容,请参见【产品变更】关于GPU自动隔离功能变更的公告。
-
旧版机制(默认触发)
ACK NPD组件检测到GPU异常时,生成GPU隔离文件,ACK NVIDIA Device Plugin组件将该文件中列出的所有 GPU 设备隔离,即默认在检测到特定异常后自动隔离GPU,用户可通过配置是否产生NVIDIA GPU 隔离文件,控制自动隔离功能的启停。
-
新版机制(按配置触发)
ACK NPD组件检测到GPU异常时,生成异常检测报告,由 ACK NVIDIA Device Plugin 组件根据异常检测报告及用户配置的触发 GPU 自动隔离的NPD检查项决定是否隔离GPU,ACK NVIDIA Device Plugin组件默认未配置任何触发隔离的检测项,即默认不会触发GPU自动隔离,用户可通过配置触发隔离的检测项,定义在检测到哪些异常后自动隔离异常GPU。
关于两种机制的适用范围,请参见GPU自动隔离行为。
为兼容旧版隔离机制,ACK NPD组件新版本仍会保留生成旧格式GPU隔离文件的行为,但新版 ACK NVIDIA Device Plugin组件已不再读取该文件,相关隔离行为完全由其自身的配置决定。
共享GPU调度
自 ACK NPD组件 1.2.35 版本及 ack-ai-installer 组件 1.13.7 版本起,共享GPU 支持自动隔离。由 ack-ai-installer 中 gpushare 相关device plugin 根据NPD 产生的异常检测报告及用户配置的触发 GPU 自动隔离的NPD检查项决定是否隔离GPU,ack-ai-installer 组件默认未配置任何触发隔离的检测项,即默认不会触发GPU自动隔离,用户可通过配置触发隔离的检测项,定义在检测到哪些异常后自动隔离异常GPU。
GPU自动隔离行为
独占GPU调度
新版机制仅适用于 Kubernetes 1.32 及以上版本 的 ACK 集群。
对于 Kubernetes 1.32 以下版本的集群,仍按照旧版机制执行 GPU 自动隔离。
不同组件版本组合下,GPU 自动隔离行为如下:
|
ACK NPD 版本 |
ACK NVIDIA Device Plugin 版本 |
GPU自动隔离行为
|
开启/关闭GPU自动隔离方式 |
|
ACK NPD版本 < 1.2.24 |
N/A |
不具备 GPU 异常检测能力。 |
N/A |
|
ACK NPD版本 ≥ 1.2.24 |
ACK NVIDIA Device Plugin 版本 < 0.7.0 |
按旧版机制执行隔离行为。 |
按旧版方式操作。 |
|
1.2.24 ≤ ACK NPD版本 < 1.2.35 |
ACK NVIDIA Device Plugin 版本 ≥ 0.7.0 |
GPU自动隔离功能不生效,其他功能正常。 由于低版本 ACK NPD 不输出异常检测报告,新版 ACK NVIDIA Device Plugin 无法获取异常 GPU 信息,因此不会执行自动隔离。 |
N/A 建议升级ACK NPD至最新版本,使用新版机制。 |
|
ACK NPD版本 ≥ 1.2.35 在ACK NPD组件灰度发布过程中,若组件管理页面未显示1.2.35及以上版本,可提交工单申请白名单。 |
ACK NVIDIA Device Plugin 版本 ≥ 0.7.0 在ACK NVIDIA Device Plugin组件灰度发布过程中,若组件管理页面未显示0.7.0及以上版本,可提交工单申请白名单。 |
按新版机制执行隔离行为。 |
按新版方式操作。 |
关于如何查看ACK NPD和ACK NVIDIA Device Plugin组件版本以及升级组件,请参见查看/升级ACK NPD版本和查看/升级NVIDIA Device Plugin版本。
共享GPU调度
共享GPU调度场景下使用GPU自动隔离功能,需满足以下组件版本:
-
ACK NPD版本 ≥ 1.2.35
在ACK NPD组件灰度发布过程中,若组件管理页面未显示1.2.35及以上版本,可提交工单申请白名单。
-
ack-ai-installer ≥ 1.13.7
开启/关闭GPU自动隔离
独占GPU调度
关闭GPU自动隔离或者GPU自动隔离功能不生效时,只影响是否自动隔离GPU卡。即当ACK NPD检测到GPU异常后,仍会根据ACK NPD检查项触发Node Condition、Kubernetes Event及告警,但不会自动隔离异常GPU。
新版方式
开启后当触发ACK NPD检查项时,将自动隔离异常 GPU 卡。自动隔离并不等于自动修复,发生 GPU 卡自动隔离的节点实例将持续计费,您仍需修复节点,建议配置GPU 异常告警以便及时处理;若未选择任何检查项,则不会自动隔离。
登录容器服务管理控制台,在左侧导航栏选择集群列表。
-
在集群列表页面,单击目标集群名称,然后在左侧导航栏,单击组件管理。
-
在组件管理页面,搜索ack-nvidia-device-plugin组件,在其卡片位置单击配置。
-
在弹出的对话框中,开启或关闭GPU自动隔离。
-
开启:勾选启用 GPU 自动隔离,并选择触发 GPU 自动隔离的NPD检查项。
-
关闭:取消勾选启用 GPU 自动隔离,或者不配置检查项。
-
旧版方式
当检测到 GPU 异常时,ack-node-problem-detector 组件将按照默认隔离策略生成 NVIDIA GPU 隔离文件,ack-nvidia-device-plugin 组件将根据该文件内容自动隔离异常 GPU 卡,以避免新的负载调度到异常 GPU 后无法正常运行,其他正常的 GPU 可以继续提供服务。而自动隔离并不会执行自动修复,发生 GPU 卡自动隔离的节点实例将持续计费,您仍需手动重启或维修节点,并建议配置GPU 异常告警以便及时处理。
-
当 ack-node-problem-detector组件版本为 1.2.30 及以上时,支持通过组件管理中的配置项
generateNvidiaGpuIsolationFile控制是否自动隔离异常 GPU。 -
当组件升级后,请结合GPU自动隔离行为判断新组件版本对应的开启/关闭GPU自动隔离的操作方式。
-
开启:旧版机制默认在检测到特定异常后自动隔离GPU。对于ACK NPD 1.2.30及以上版本,若此前已关闭,可在组件管理中将
generateNvidiaGpuIsolationFile设置为true重新开启。若此前通过修改ack-node-problem-detector-daemonset中的EnabledIsolateGPU(1.2.24至1.2.29版本)临时关闭了GPU自动隔离功能,请先按下方流程升级ACK NPD组件,再在组件管理中重新开启。升级后,请先确认组件版本组合仍适用旧版机制;若已适用新版机制,请按新版方式配置。 -
关闭:
-
在集群列表页面,单击目标集群名称,然后在左侧导航栏,单击组件管理。
-
在日志与监控页签,查找ack-node-problem-detector组件,然后根据当前组件版本执行对应操作。
-
1.2.24 至 1.2.29 版本:请升级至最新版本。
-
1.2.30 及以上版本:请单击配置。
-
-
在组件升级或组件配置界面中,将
generateNvidiaGpuIsolationFile(是否产生NVIDIA GPU 隔离文件)设置为false,然后单击确认。若您此前在1.2.24至1.2.29版本通过修改
ack-node-problem-detector-daemonset的EnabledIsolateGPU配置为false临时关闭了GPU自动隔离功能,在升级ACK NPD组件版本时该关闭配置会自动保留。如果您在关闭后希望重新开启GPU卡自动隔离功能,可将generateNvidiaGpuIsolationFile设置为true。
警告旧版机制下,该隔离文件由ACK NPD生成,ACK NVIDIA Device Plugin根据文件内容隔离GPU。删除文件会清除文件中记录的隔离信息;若GPU仍处于异常状态,解除隔离后新的GPU应用Pod可能被分配到异常GPU,导致业务失败。删除文件并不会修复GPU异常。操作前,请确认GPU状态并评估对业务的影响;若尚未确认GPU恢复正常,请勿仅通过删除文件恢复其使用。
针对已经产生的GPU卡自动隔离,可通过登录到发生XID错误的节点,删除
/etc/nvidia-device-plugin/unhealthyDevices.json文件,来解除该节点上的GPU隔离。为了避免再次被隔离,可以参考上一步操作关闭自动隔离功能。 -
共享GPU调度
需单独创建关于共享GPU隔离的配置文件,示例内容如下:
apiVersion: v1
kind: ConfigMap
metadata:
name: gpushare-device-plugin-config
namespace: kube-system
data:
enableGpuIsolation: "true"
gpuIsolationOnFailedChecks: "NvidiaXID74Error,NvidiaXID79Error"
创建或修改 ConfigMap 后,配置将在 5 分钟后生效。如需立即生效,可删除对应的gpushare-device-plugin Pod,使其由DaemonSet自动重建并加载新配置。删除该Pod前,请评估重建期间对GPU资源管理的影响。删除此ConfigMap或将 enableGpuIsolation
设置为 false
后,将解除对原有 GPU 卡的隔离。
检测项及修复建议
发现GPU异常后,请参照 Nvidia Xid Errors进行修复。也可根据节点实例类型(如ECS、灵骏)在对应云产品控制台查询是否存在节点实例的运维事件,或者通过自主诊断工具对节点硬件异常进行排查。
下表中是否自动隔离GPU卡为旧版机制的默认隔离行为,新版本机制将按照用户自定义配置决定是否自动隔离,详细内容请参见GPU自动隔离机制。