开启节点自愈

1. 故障诊断与发现

ACK通过NPD组件检查节点的异常情况。节点运行状态发生变化并持续一段时间后，ACK判定该节点存在故障。

2. 故障通知

发现故障后，ACK会产生Node Condition和Kubernetes Event。可通过事件中心告警配置接收通知。

3. （独占GPU场景）故障隔离

检测到GPU异常后，ACK对故障GPU卡进行隔离。

关于GPU卡故障检测和自动隔离的详细信息请参见GPU异常检测与自动隔离。

4. 执行系统与 K8s 组件异常自愈流程

ACK会根据节点的运行状态condition等信息判断是否发起自愈任务。可执行kubectl describe node命令，在condition字段查看节点的运行状态。

检测到系统与K8s组件异常，且异常持续时间超过阈值时间（即故障发生多长时间后会触发节点自愈）时，ACK将自动执行自愈任务。一个完整的节点自愈流程如下。

1. ACK对异常的系统与K8s组件进行修复，例如重启kubelet、重启运行时等。

2. 如果选择仅开启系统与节点组件自愈（允许异常时重启节点），当修复动作无效时，ACK继续执行以下操作：

   1. ACK自动将故障节点设置为不可调度。

   2. ACK针对需要重启的故障节点执行排水。排水超时时间取故障节点上所有待驱逐 Pod 的 TerminationGracePeriodSeconds 最大值与 10 分钟中的较大值，且最长不超过 30 分钟。

      ACK执行节点排水操作时，会在遵循PDB的前提下将节点上的Pod驱逐至其他可用节点。为确保服务高可用性，建议采用多副本部署策略，将工作负载分散在多个节点上，同时为关键业务配置PDB，控制同时中断的Pod数量。

      如排水失败，ACK仍会执行后续操作。

   3. ACK重启节点。

   4. 检测节点状态恢复正常时，ACK将故障节点恢复为可调度。

      如果某节点在执行节点自愈前已被设置为不可调度，那么在自愈任务完成后，该节点不会自动恢复为可调度。

Node Condition

描述

风险等级

阈值时间

自愈行为

KubeletNotReady(KubeletHung)

kubelet意外停止工作，导致节点NotReady。

高

180s

1. 重启kubelet。

2. 如果选择仅开启系统与节点组件自愈（允许异常时重启节点），则重启ECS实例。

KubeletNotReady(PLEG)

PLEG健康检查失败，导致节点NotReady。

中

180s

1. 重启containerd或Docker。

2. 重启kubelet。

3. 如果选择仅开启系统与节点组件自愈（允许异常时重启节点），则重启ECS实例。

KubeletNotReady(SandboxError)

PodSandbox not found，导致kubelet无法正常启动。

高

180s

1. 删除对应的Sandbox容器。

2. 重启kubelet。

RuntimeOffline

containerd或Docker停止工作，节点不可用。

高

90s

1. 重启containerd或Docker。

2. 如果选择仅开启系统与节点组件自愈（允许异常时重启节点），则重启ECS实例。

NTPProblem

时间同步服务（ntpd或chronyd）异常。

高

10s

重启ntpd或chronyd。

SystemdOffline

Systemd状态异常，无法启动、销毁容器。

高

90s

如果选择仅开启系统与节点组件自愈（允许异常时重启节点），则重启ECS实例。

ReadonlyFilesystem

节点文件系统变为只读。

高

90s

如果选择仅开启系统与节点组件自愈（允许异常时重启节点），则重启ECS实例。