Linux系统CPU使用率和负载高排查方法

本文主要介绍当Linux实例CPU使用率或CPU负载较高时,如何排查分析及常见案例说明。

操作场景

在您使用轻量应用服务器实例过程中,可能会遇到实例CPU使用率或CPU负载持续较高的情况,您可以按照以下步骤排查定位具体问题。

  1. 找到影响CPU使用率或CPU负载过高的具体进程。

  2. 排查影响CPU使用率或CPU负载过高的进程是否正常,并分类进行处理。

    • 对于正常进程:您需要对程序进行优化或者升配实例。具体操作,请参见升级配置

    • 对于异常进程:您可以手动对进程进行查杀,也可以使用第三方安全工具去查杀。

CPU负载的查询分析

在Linux系统中,查看进程的常用命令如下所示。本文主要介绍vmstat和top常用命令的使用。

  • vmstat

  • top

  • ps -aux

  • ps -ef

vmstat命令的使用

vmstat(VirtualMemoryStatistics,虚拟内存统计),通过vmstat命令,从系统维度查看操作系统的虚拟内存、进程、CPU等的整体情况。

vmstat命令

常用vmstat命令如下所示。

vmstat [-n] [delay [count]] 
说明
  • [-n]:只在开始时显示一次各字段名称。

  • [delay]:刷新时间间隔。如果不指定,只显示一条结果。

  • [count]:刷新次数。如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为无穷。

使用示例

执行如下命令,使用vmstat每1秒统计一次各进程的CPU使用情况,连续统计4次。

vmstat -n 1 4

返回示例类似如下。

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 2684984 310452 2364304    0    0     5    17   19   35  4  2 94  0  0
 0  0      0 2687504 310452 2362268    0    0     0   252 1942 4326  5  2 93  0  0
 0  0      0 2687356 310460 2362252    0    0     0    68 1891 4449  3  2 95  0  0
 0  0      0 2687252 310460 2362256    0    0     0     0 1906 4616  4  1 95  0  0

显示结果主要字段说明

  • r:表示系统中CPU等待处理的线程。一个CPU每次只能处理一个线程,所以该数值越大,通常表示系统运行越慢。

  • us:用户模式消耗的CPU时间百分比。该值较高时,说明用户进程消耗的CPU时间比较多。如果该值长期超过50%,则需要对程序算法或代码等进行优化。

  • sy:内核模式消耗的CPU时间百分比。

  • wa:I/O等待消耗的CPU时间百分比。该值较高时,说明IO等待比较严重,这可能是磁盘大量作随机访问造成的,也可能是磁盘性能出现了瓶颈。

  • id:处于空闲状态的CPU时间百分比。如果该值持续为0,同时sy是us的两倍,则通常说明系统面临CPU资源短缺。

top命令的使用

top命令是Linux系统中常用的性能分析工具,可以实时显示系统中各进程的资源占用情况。

top命令

top [-n] [-d] 
说明
  • [-n]:只在开始时显示一次各字段名称。

  • [delay]:刷新时间间隔。如果不指定,只显示一条结果。

  • [count]:刷新次数。如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为无穷。

使用示例

  1. 远程连接Linux系统的轻量应用服务器实例。具体操作,请参见远程连接Linux服务器

  2. 执行如下命令,查看系统中各进程的资源占用情况。

    如下命令表示:每2秒统计一次各进程相关信息,统计5次后停止。

    top -n 5 -d 2

    系统显示类似如下。

    top - 17:27:13 up 27 days,  3:13,  1 user,  load average: 0.02, 0.03, 0.05
    Tasks:  94 total,   1 running,  93 sleeping,   0 stopped,   0 zombie
    %Cpu(s):  0.3 us,  0.1 sy,  0.0 ni, 99.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.1 st
    KiB Mem:   1016656 total,   946628 used,    70028 free,   169536 buffers
    KiB Swap:        0 total,        0 used,        0 free.   448644 cached Mem
    PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
    1 root        20   0   41412   3824   2308 S  0.0  0.4   0:19.01 systemd
    2 root        20   0       0      0      0 S  0.0  0.0   0:00.04 kthreadd

    显示结果主要字段说明

    针对CPU使用率和CPU负载问题,您只需关注回显的第一行和第三行信息,详细说明如下。

    • 第一行:显示的内容17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05,依次为系统当前时间、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载。

    • 第三行:显示当前CPU资源的总体使用情况,下方会显示各个进程的资源占用情况。

  3. 在top命令执行过程中,可以使用一些交互命令。

    • 通过P键,可以对CPU使用率进行倒序排列,方便定位系统中占用CPU较高的进程。

    • 通过M键,您可以对系统内存使用情况进行排序。如果有多核CPU,数字键1可以显示每核CPU的负载状况。

  4. 执行ll /proc/PID/exe命令,可以查看每个进程ID对应的程序文件。

  5. 终止CPU消耗较大的进程。

    1. 先写入小写字母k

    2. 输入想要终止的进程PID,按Enter键。

      默认为输出结果的第一个PID,如下图所示,假如想要终止PID为23的进程,输入23后按Enter键。

    3. 操作成功后,界面会出现类似Send pid 23 signal [15/sigterm]的提示信息,按Enter键确认即可。

常见CPU资源过高案例分析

案例一:CPU使用率较低但负载较高

问题现象

当前Linux系统没有业务程序运行。通过top命令观察,发现CPU使用率不高,但是CPU负载(load average)却非常高,如下图所示。

问题原因

该问题可能是因为僵尸(zombie)进程过多导致。

load average是对CPU负载进行评估的,其值越高说明其任务队列越长,处于等待执行的任务越多。

解决方案

您可以通过ps -axjf命令查看是否存在D+状态进程,该状态是指不可中断的睡眠状态。

处于该状态的进程无法终止,也无法自行退出,只能通过恢复其依赖的资源或者重启系统来解决。

案例二:kswapd0进程占用CPU较高

问题现象

轻量应用服务器运行卡顿,使用top命令查看,kswapd0进程占用了99% CPU。

问题原因

出现该问题可能是系统此时在持续进行换页操作,导致占用大量CPU资源。

kswapd0是虚拟内存管理中负责换页的进程,当轻量应用服务器物理内存不足时,kswapd0会执行换页操作,换页操作会消耗大量的CPU资源。

解决方案

您可以通过修改vm.swappiness内核参数来控制交换空间的大小,来解决kswapd0进程占用CPU较高的问题。

  1. 远程连接Linux实例。具体操作,请参见远程连接Linux服务器

  2. 查看swappiness参数。

    cat /proc/sys/vm/swappiness

    系统显示类似如下,表示当物理内存低于60%(100-40)时使用swap空间。

    说明

    swappiness参数越低,表示Linux系统尽量少用swap分区,多用物理内存;swappiness参数值越高,表示使内核更多地去使用swap空间。

    查看swap

  3. 根据业务需要,修改swappiness参数。

    1. 打开内核参数配置文件sysctl.conf。

      vi /etc/sysctl.conf
    2. 根据业务需要,修改swappiness参数值。

      如在sysctl.conf文件中,修改vm.swappiness = 10

    3. Esc键,输入:wq保存修改。

    4. 重新加载sysctl配置文件,使配置生效。

      sysctl -p

      若该问题还未解决,建议您升配实例规格。具体操作,请参见升级配置

案例三:CPU使用率高达100%问题排查

问题现象

使用轻量应用服务器的过程中,如果遇到CPU使用率高达100%等异常情况,且无法通过top、htop等命令查询到消耗CPU资源的具体进程。

问题原因

该问题可能是病毒导致。

解决方案

  1. 查看轻量应用服务器CPU使用率高达100%时的具体时间点。具体操作,请参见查看实例监控信息

  2. 查看Linux实例的命令修改记录。

    1. 使用救援登录Linux实例。具体操作,请参见使用救援连接Linux服务器

    2. 执行如下命令,查看当前Linux系统命令最近是否被修改过。

      stat /usr/bin/top

      系统显示类似如下,系统命令有被修改。查看更改时间是否和云监控中CPU使用率出现100%的时间点吻合。

      CommandChanges

  3. 分别执行如下命令,查看pstop命令是否被修改过。

    rpm -Vf /bin/ps
    rpm -Vf /usr/bin/top
    • 正常情况下,系统无返回修改信息。

    • 系统异常情况下,显示类似如下,表示pstop命令被修改过。

      CommandQuery

  4. 执行如下命令,查看当前实例的IP地址是否解析到异常域名。

    iftop -i [$Device] -n -P
    说明

    [$Device]请替换为当前系统使用的网卡,如eth0。

    系统显示类似如下,若您没有连接过crypto-pool.fr,则crypto-pool.fr是异常域名。

  5. 综合以上表现,top、ps命令被修改,并且解析到异常域名,判断您的轻量应用服务器已被病毒入侵,可以参考以下方案。

    1. 备份轻量应用服务器实例数据。具体操作,请参见创建快照

    2. 重新初始化系统盘,然后使用云安全中心对轻量应用服务器实例进行安全加固。更多信息,请参见重置系统基础安全服务