本文主要介绍当Linux系统ECS实例CPU使用率或CPU负载较高时,如何排查分析及常见案例说明。
操作场景
在您使用ECS实例过程中,可能会遇到实例CPU使用率或CPU负载持续较高的情况,您可以按照以下步骤排查定位具体问题。
找到影响CPU使用率或CPU负载过高的具体进程。
排查影响CPU使用率或CPU负载过高的进程是否正常,并分类进行处理。
对于正常进程:您需要对程序进行优化或者升配实例规格。具体操作,请参见包年包月实例升配规格或按量付费实例变配规格。
对于异常进程:您可以手动对进程进行查杀,也可以使用第三方安全工具去查杀。
CPU负载的查询分析
在Linux系统中,查看进程的常用命令如下所示。本文主要介绍vmstat和top常用命令的使用。
vmstat
top
ps -aux
ps -ef
vmstat命令的使用
vmstat(VirtualMemoryStatistics,虚拟内存统计),通过vmstat命令,从系统维度查看操作系统的虚拟内存、进程、CPU等的整体情况。
vmstat命令
常用vmstat命令如下所示。
vmstat [-n] [delay [count]]
[-n]:只在开始时显示一次各字段名称。
[delay]:刷新时间间隔。如果不指定,只显示一条结果。
[count]:刷新次数。如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为无穷。
使用示例
执行如下命令,使用vmstat每1秒统计一次各进程的CPU使用情况,连续统计4次。
vmstat -n 1 4
返回示例类似如下。
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 2684984 310452 2364304 0 0 5 17 19 35 4 2 94 0 0
0 0 0 2687504 310452 2362268 0 0 0 252 1942 4326 5 2 93 0 0
0 0 0 2687356 310460 2362252 0 0 0 68 1891 4449 3 2 95 0 0
0 0 0 2687252 310460 2362256 0 0 0 0 1906 4616 4 1 95 0 0
显示结果主要字段说明
r:表示系统中CPU等待处理的线程。一个CPU每次只能处理一个线程,所以该数值越大,通常表示系统运行越慢。
us:用户模式消耗的CPU时间百分比。该值较高时,说明用户进程消耗的CPU时间比较多。如果该值长期超过50%,则需要对程序算法或代码等进行优化。
sy:内核模式消耗的CPU时间百分比。
wa:I/O等待消耗的CPU时间百分比。该值较高时,说明IO等待比较严重,这可能是磁盘大量作随机访问造成的,也可能是磁盘性能出现了瓶颈。
id:处于空闲状态的CPU时间百分比。如果该值持续为0,同时sy是us的两倍,则通常说明系统面临CPU资源短缺。
top命令的使用
top命令是Linux系统中常用的性能分析工具,可以实时显示系统中各进程的资源占用情况。
top命令
top [-n] [-d]
[-n]:刷新次数。如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为无穷。
[-d] :刷新时间间隔。
使用示例
远程连接Linux系统的ECS实例。
具体操作,请参见连接方式概述。
执行如下命令,查看系统中各进程的资源占用情况。
如下命令表示:每2秒统计一次各进程相关信息,统计5次后停止。
top -n 5 -d 2
系统显示类似如下。
top - 17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05 Tasks: 94 total, 1 running, 93 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.3 us, 0.1 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.1 st KiB Mem: 1016656 total, 946628 used, 70028 free, 169536 buffers KiB Swap: 0 total, 0 used, 0 free. 448644 cached Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1 root 20 0 41412 3824 2308 S 0.0 0.4 0:19.01 systemd 2 root 20 0 0 0 0 S 0.0 0.0 0:00.04 kthreadd
显示结果主要字段说明
针对CPU使用率和CPU负载问题,您只需关注回显的第一行和第三行信息,详细说明如下。
第一行:显示的内容
17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05
,依次为系统当前时间、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载。第三行:显示当前CPU资源的总体使用情况,下方会显示各个进程的资源占用情况。
在top命令执行过程中,可以使用一些交互命令。
通过P键,可以对CPU使用率进行倒序排列,方便定位系统中占用CPU较高的进程。
通过M键,您可以对系统内存使用情况进行排序。如果有多核CPU,数字键1可以显示每核CPU的负载状况。
执行
ll /proc/PID/exe
命令,可以查看每个进程ID对应的程序文件。终止CPU消耗较大的进程。
先写入小写字母k。
输入想要终止的进程PID,按Enter键。
默认为输出结果的第一个PID,如下图所示,假如想要终止PID为23的进程,输入23后按Enter键。
操作成功后,界面会出现类似
Send pid 23 signal [15/sigterm]
的提示信息,按Enter键确认即可。
常见CPU资源过高案例分析
案例一:CPU使用率较低但负载较高
问题现象
当前Linux系统没有业务程序运行。通过top命令观察,发现CPU使用率不高,但是CPU负载(load average)却非常高,如下图所示。
问题原因
该问题可能是因为僵尸(zombie)进程过多导致。
load average是对CPU负载进行评估的,其值越高说明其任务队列越长,处于等待执行的任务越多。
解决方案
您可以通过ps -axjf
命令查看是否存在D+状态进程,该状态是指不可中断的睡眠状态。
处于该状态的进程无法终止,也无法自行退出,只能通过恢复其依赖的资源或者重启系统来解决。
案例二:kswapd0进程占用CPU较高
问题现象
ECS实例运行卡顿,使用top
命令查看,kswapd0进程占用了99% CPU。
问题原因
出现该问题可能是系统此时在持续进行换页操作,导致占用大量CPU资源。
kswapd0是虚拟内存管理中负责换页的进程,当ECS实例物理内存不足时,kswapd0会执行换页操作,换页操作会消耗大量的CPU资源。
解决方案
您可以通过修改vm.swappiness内核参数来控制交换空间的大小,来解决kswapd0进程占用CPU较高的问题。
登录Linux实例。
具体操作,请参见连接方式概述。
查看swappiness参数。
cat /proc/sys/vm/swappiness
系统显示类似如下,表示当物理内存低于60%(100-40)时使用swap空间。
说明swappiness参数越低,表示Linux系统尽量少用swap分区,多用物理内存;swappiness参数值越高,表示使内核更多地去使用swap空间。
根据业务需要,修改swappiness参数。
打开内核参数配置文件sysctl.conf。
vi /etc/sysctl.conf
根据业务需要,修改swappiness参数值。
如在sysctl.conf文件中,修改
vm.swappiness = 10
。按
Esc
键,输入:wq
保存修改。重新加载sysctl配置文件,使配置生效。
sysctl -p
若该问题还未解决,建议您升配实例规格。具体操作,请参见包年包月实例升配规格或按量付费实例变配规格。
案例三:CPU使用率过高100%问题排查
问题现象
使用ECS实例的过程中,如果遇到CPU使用率高达100%等异常情况,且无法通过top、htop等命令查询到消耗CPU资源的具体进程。
问题原因
该问题可能是病毒导致。
解决方案
查看云监控监控数据。
登录云监控管理控制台。
在左侧导航栏,单击主机监控。
找到异常主机,单击操作列的监控图表。
在操作系统监控页签下,查看该主机的CPU使用率并记录具体时间点。
查看Linux实例的命令修改记录。
登录Linux实例。
具体操作,请参见连接方式概述。
执行如下命令,查看当前Linux系统命令最近是否被修改过。
stat /usr/bin/top
系统显示类似如下,系统命令有被修改。查看更改时间是否和云监控中CPU使用率出现100%的时间点吻合。
分别执行如下命令,查看
ps
或top
命令是否被修改过。rpm -Vf /bin/ps rpm -Vf /usr/bin/top
正常情况下,系统无返回修改信息。
系统异常情况下,显示类似如下,表示
ps
和top
命令被修改过。
执行如下命令,查看当前实例是否连接到异常域名。
iftop -i [$Device] -n -P
说明[$Device]请替换为当前系统使用的网卡,如eth0。
系统显示类似如下,若您没有连接过crypto-pool.fr,则crypto-pool.fr是异常域名。
综合以上表现,top、ps命令被修改,并且连接到异常域名,判断您的ECS实例已被病毒入侵,可以参考以下方案。