主机健康诊断

诊断项

说明

内核参数检测

内核参数推荐值如下：

• net.bridge.bridge-nf-call-ip6tables=1

• net.bridge.bridge-nf-call-iptables=1

• net.ipv4.ip_forward=1

• net.ipv4.conf.all.forwarding=1

• net.ipv6.conf.all.forwarding=1

• fs.inotify.max_user_watches=524288

• net.ipv4.conf.all.arp_ignore=1

• net.ipv4.conf.all.arp_announce=2

可根据需要使用命令对参数进行调整。

命令示例：将net.ipv4.conf.all.arp_announce设置为2。

touch /etc/sysctl.conf && sed -i '/net.ipv4.conf.all.arp_announce/d' /etc/sysctl.conf && echo 'net.ipv4.conf.all.arp_announce=2' >> /etc/sysctl.conf && sysctl -p /etc/sysctl.conf

SELinux检测

检查SELinux是否已禁用。

如果SELinux没有禁用，可执行如下命令进行禁用。

sudo setenforce 0 > /dev/null ; sudo sed -i '/SELINUX=/d' /etc/selinux/config ; sudo echo -e "SELINUX=disabled" >> /etc/selinux/config

Swap分区关闭检测

检查Swap分区是否已关闭。

如果Swap分区没有关闭，可执行如下命令进行关闭。

swapoff -a; sed -i '/\bswap\b/d' /etc/fstab

CPU工作模式检测

CPU是否已设置为高性能模式（interactive）。

IPv6 DNS检测

检查/etc/resolv.conf文件是否存在IPv6地址。

如果存在，可手动编辑此文件进行修复。

诊断项

诊断结果

修复方案

CPU Load检查

系统负载过高

Load值越高，说明任务队列越长，处于等待执行的任务越多。可通过top命令查看系统负载，load average: 3.47, 2.17, 1.91 表示1分钟、5分钟、15分钟内的平均Load值。

您可通过如下方法进行排查：

• 若CPU使用率高导致系统负载高，排查CPU使用率过高的原因。

• 若CPU使用率低，但负载高，可能系统存在大量磁盘、网络IO等待的情况，也有可能存在僵尸进程。

CPU温度检查

CPU温度过高

请确认如下问题：

• 一体机运行环境温度是否过高。

• CPU使用率是否过高。

若不存在上述问题，可能是风扇转速过慢或者其他硬件问题导致。

内存使用率诊断

内存或CPU使用率过高

如果主机的内存或CPU持续保持高使用率，会对系统稳定性和业务运行造成影响。以Linux系统为例，您可以按如下方法进行处理。

在Linux系统中，可以使用vmstat、top、ps -aux、ps -ef等常用命令查看系统进程，下面介绍使用top命令找到导致内存或CPU使用率过高的进程。

1. 执行命令top。

2. 关注回显的第一行和第三行信息。

   • 第一行：top - 13:26:13 up 2:07, 1 user, load average: 3.47, 2.17, 1.91，依次为系统当前时间、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载。

   • 第三行：显示当前CPU资源的总体使用情况，下方显示各个进程的资源占用情况。

3. 通过P键，可以对CPU使用率进行排列，帮助定位系统中CPU使用率较高的进程。

4. 通过M键，可以对系统内存使用情况进行排序。如果有多核CPU，数字键1可以显示每核CPU的负载状况。

5. 执行命令ll /proc/PID/exe，可以查看每个进程ID对应的程序文件。

6. 若确定CPU、内存消耗过大的进程存在问题，可以使用kill命令终止进程。从长远的角度需分析进程消耗过多CPU或内存的原因，并进行优化。

CPU使用率诊断

磁盘使用率检测

磁盘空间使用率过高

使用命令sudo du -h --max-depth=1从根目录逐步查找对应的大目录或文件，结合业务情况对相关文件或目录进行删除。

从长远的角度需分析大文件产生的原因并进行优化，或者对磁盘进行扩容。导致磁盘使用率过高常见的原因有：没有设置日志回滚策略或者设置不合理，历史文件没有及时进行清理等，这些问题都会导致磁盘使用率持续上涨，当上涨到某个阈值时，会导致系统或应用程序运行异常。

磁盘Inode使用率检测

磁盘Inode使用率过高

系统存在过多小文件导致，需要及时对小文件进行清理，否则会有无法正常创建文件的风险。

1. 执行df -i命令，可以查询inode的使用情况。

   如果inode使用率达到或接近100%，需清理inode占用量高的文件或目录。

2. 登录服务器，执行命令：for i in /*; do echo $i; find $i | wc -l; done，展示根目录下二级目录中的文件数量。

3. 进入文件数量最大的目录，继续执行上述指令，逐层定位占用过大空间的文件或目录，最后进行清理。

Pid和Threads使用率情况检测

Pid和Threads达到上限

系统当前的进程数达到系统允许创建的最大限制。若出现此问题，会导致系统进程无法正常创建。

文件系统读写检测

文件无法正常读写

您可以尝试在主机上创建文件，如果出现No space left on device …的报错信息，一般是如下问题导致：

• 磁盘分区空间使用率过高。

• 磁盘分区inode使用率过高。

• 存在僵尸文件（已删除文件因句柄被占用未释放，导致相应空间未释放文件）。

如果不存在上述问题，可能是磁盘或文件系统损坏导致。

僵尸进程检测

出现僵尸进程

如下命令可以查看当前系统存在的僵尸进程：

ps -A -ostat,ppid,pid,cmd | grep -v color | grep -e '^[Zz]'

僵尸进程无法终止，也无法自行退出，只能通过恢复其依赖的资源或重启系统来解决。如果选择重启系统来解决僵尸进程，请先确保重启系统对业务无影响。

诊断结果

修复方案

网络不通

排查思路如下：

1. ping本机的IP以及局域网网关的IP，如果ping不通，说明局域网配置有问题。

2. ping外网IP，例如：223.5.5.5（阿里云DNS的IP）。

   • 可以ping通，说明IP层的配置正确。

   • 如果ping不通，说明无法连通外网，一般是默认路由没有设置，或者设置了多条默认路由，使用命令ip route可查看路由表，带有default字样的为默认路由。

3. ping外网域名，例如www.baidu.com。

   • 可以ping通，说明DNS配置正确。

   • 如果ping不通，说明DNS配置有问题，需检查DNS配置文件/etc/resolv.conf的内容。

图示如下：

IP冲突

在检测出IP地址冲突的主机上，使用arping -D -I ethN x.x.x.x命令（其中x.x.x.x为本机的IP地址），执行命令后，如果没有任何输出，则表示本IP地址无冲突。 如果IP冲突，执行命令后会显示冲突的IP地址使用的MAC地址，您需重新配置网络。

arping -D -I 网卡名 IP

存在DHCP搜索域注入

查看宿主机文件/etc/resolv.conf文件，发现存在search DHCP HOST，可能会导致域名无法正常解析。

您可以尝试如下步骤解决：

1. 执行命令ip route | grep default，找到默认网卡。

2. 执行命令 nmtui进行网络配置。

3. 在网络编辑器中单击编辑连接，按照下图所示进行配置。

4. 执行如下命令检查配置是否生效。

   cat /etc/sysconfig/network-scripts/ifcfg-enp2s0

   说明

   关掉搜索域注入后，PEERDNS会变为no，该配置需重启机器才能生效。重启机器前需检查其他配置是否正确，以免重启后因连不上网而直接离线。

   x86和arm的网卡配置文件目录分别如下：

   • x86：/etc/sysconfig/network-scripts

   • arm：/etc/NetworkManager/system-connections

   需关注如下参数：

   • BOOTPROTO：获得IP地址的方式，dhcp（动态IP）static（静态IP），此处需为dhcp。

   • ONBOOT：系统启动时是否激活网卡，此处需为yes。

   • DNS：DNS服务配置，推荐 223.5.5.5，223.6.6.6，也可根据实际情况配置。

   • PERRDNS：是否允许自动注入搜索域，此处需为no。

   • x86：/etc/sysconfig/network-scripts

   • arm：/etc/NetworkManager/system-connections

5. 执行reboot重启系统。

   重要

   如果是远程操作，不要直接重启网卡，重启网卡可能会失败，失败后无法连接网络，请直接重启系统。

诊断结果

修复方案

系统服务未运行

为了确保一体机能够正常提供服务，需要以下几个系统服务正常运行：

kubelet、docker、containerd、LinkIoTEdge、NetworkManager、sshd、dbus

您可以通过如下命令查询系统服务的运行状态，若未正常运行，可手动将服务启动。

# 查看系统服务运行状态
systemctl status docker
# 启动系统服务
systemctl start docker

防火墙被打开

可使用以下命令将防火墙关闭并禁用。

systemctl stop firewalld
systemctl disable firewalld

docker hang

若发现docker无响应，可尝试通过执行systemctl restart docker命令重启docker服务，或通过 sync && reboot重启系统。

容器存在存储泄露

开源软件已知问题。可执行如下脚本进行对无用的容器存储层进行清理。

curl -s 'http://edge-box-production-management.oss-cn-shanghai.aliyuncs.com/utils/cleanup_docker_storage.sh' | bash -s