OOM诊断功能使用说明

通过OOM(Out Of Memory)内存诊断功能,对操作系统发生OOM的原因进行分析和界定。本文介绍了OOM诊断功能的使用说明。

使用限制

  • 地域限制

    本功能目前仅支持中国内地与中国香港。

  • 操作系统限制

    架构

    操作系统

    x86架构

    • Alibaba Cloud Linux 2/3

    • CentOS 7.6及以上版本

    • Anolis 8.4以上版本

    ARM架构

    Alibaba Cloud Linux 3

使用场景

场景

说明

系统全局内存不足

整个主机的内存使用过量,导致系统内存不足,从而触发了OOM。

cgroup内存使用超限

在指定的cgroup下,进程的内存使用超过了设定限制,导致该cgroup整体的内存使用达到上限,从而触发了OOM。

父级cgroup内存使用超限

父cgroup下的进程内存使用超标,导致父cgroup整体内存使用达到限制,从而触发了OOM。在终止进程时,系统选择了子cgroup下的进程执行终止操作。

内存节点的内存不足

在NUMA存储模式下,操作系统可能具有多个内存节点(可通过执行cat /proc/buddyinfo命令来查看相关资源信息)。如果通过cpuset.mems参数指定cgroup仅能够使用特定内存节点的内存,则可能会导致实例在具备充足空闲内存的情况下,仍然出现OOM Killer的情况。

共享内存过度使用导致cgroup内存使用超限

在cgroup内存使用超限的情况下,进一步发现cgroup下的共享内存使用已超过总的cgroup用户态内存的30%。因此,可以认为造成OOM的主要原因是共享内存的过量使用,需要进一步分析共享内存的主要占用者。

前提条件

  • 如果您使用RAM用户,请确保阿里云账号(主账号)已将系统策略AliyunECSReadOnlyAccessAliyunSysomFullAccess授予RAM用户。具体操作,请参见为RAM用户授权

  • 已开通控制台权限。

    首次登录操作系统控制台时,单击开通服务以开通控制台服务。

操作步骤

  1. 登录操作系统控制台

  2. 为目标ECS实例安装SysOM。具体操作,请参见安装组件

  3. 在左侧导航栏,单击系统诊断

  4. 在页面左侧顶部,选择目标实例所在的地域。

    image

  5. 诊断类型列表中,选择内存诊断,在诊断项列表中,选择OOM诊断,配置相关参数,单击执行诊断

    相关参数如下:

    参数名

    参数说明

    是否必填

    实例ID

    目标ECS实例ID。

    OOM发生的时间

    • 选择时间:将会对距离目标时间最近的一次OOM进行分析。

    • 不指定时间:对当前系统最后一次发生的OOM进行分析。

  6. 诊断记录区域,单击查看报告

    image

诊断报告

  • 基础信息

    基础信息部分包含单次诊断的基本信息,包括诊断实例ID(资源ID)、诊断项、诊断报告ID及诊断发起时间。

  • 诊断结论

    该部分展示本次诊断的结论,详细的描述导致本次OOM发生的主要原因。

  • 诊断建议

    根据诊断结果,提出相应的处理建议,以减少或消除此类OOM的发生。

  • 诊断详情

    5eecdaf48460cde5e096db7d0244ca38e602f62b4825b80358e70b814913bc360a414d3de9277d871abf3af1cbd752491e27ac3b54e56010b082e05a3ef860e56c062f7f66aec2f2fa7b0305b35230b9bc2d5e06ca060f62fc653b69905bac42

    • OOM诊断详情

      此处会给出触发OOM的任务、任务所属cgroup、触发OOM的cgroup以及OOM类型。

    • (Host OOM)内存占用分析

      当OOM的是由主机内存不足导致时,诊断报告中会给出OOM发生时主机的内存占用情况,包括内存的系统、应用、空闲内存占比、系统内存使用分布以及应用内存使用分布。

    • (Cgroup OOM)共享内存文件占用

      当OOM的原因是Cgroup内共享内存使用过多时,诊断报告中会给出共享内存文件占用排序表格

    • OOM发生时刻任务列表

      此部分将会列举出 OOM 发生时刻,系统的任务列表,包含任务名称、进程ID和用户态内存用量(RSS)。

    • (不可回收Slab)不可回收Slab列表

      当OOM的原因是不可回收的Slab内存使用过多时,并且操作系统的内核版本在5.10以上(比如 Alinux3)诊断报告中将会列举出不可回收的Slab占用列表。