JVM的堆(Heap)占用内存过大会引发如下问题:如果JVM直接运行在Linux系统,可能会导致Java进程被Linux系统的OOM Killer所终止(Kill);如果JVM运行在Docker容器环境,可能会表现为频繁异常重启。本文针对在容器环境下运行JVM的内存配置给出建议,并解决OOM(Out of Memory)的相关常见问题。
通过-XX:MaxRAMPercentage限制JVM使用容器内存的最大百分比(推荐)
容器环境下,推荐的JVM参数设置如下:
-XX:+UseContainerSupport -XX:InitialRAMPercentage=70.0 -XX:MaxRAMPercentage=70.0 -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/home/admin/nas/gc-${POD_IP}-$(date '+%s').log -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nas/dump-${POD_IP}-$(date '+%s').hprof
参数说明如下:
|
参数 |
说明 |
|
|
设置JVM检测所处容器的内存大小和处理器数量,而不是检测整个操作系统的。 JVM会使用上述检测到的信息进行资源分配,例如: |
|
|
设置JVM使用容器内存的初始百分比。建议与 |
|
|
设置JVM使用容器内存的最大百分比。由于存在系统组件开销,建议最大不超过75.0,推荐设置为70.0,代表JVM最大使用容器内存的70%。 |
|
|
输出GC详细信息。 |
|
|
输出GC时间戳。日期形式,例如2019-12-24T21:53:59.234+0800。 |
|
|
GC日志文件路径。需保证Log文件所在容器路径已存在,建议您将该容器路径挂载到NAS目录或收集到SLS,以便自动创建目录以及实现日志的持久化存储。 |
|
|
JVM发生OOM时,自动生成Dump文件。 |
|
|
Dump文件路径。需保证Dump文件所在容器路径已存在,建议您将该容器路径挂载到NAS目录,以便自动创建目录以及实现日志的持久化存储。 |
-
使用
-XX:+UseContainerSupport参数需JDK 8u191+、JDK 10及以上版本。 -
-XX:+UseContainerSupport参数仅在部分操作系统上支持,具体支持情况请查阅您所使用的Java版本的官方文档。 -
在JDK 11及之后的版本中,日志相关的参数
-XX:+PrintGCDetails、-XX:+PrintGCDateStamps、-Xloggc:$LOG_PATH/gc.log已被废弃,请使用参数-Xlog:gc:$LOG_PATH/gc.log代替。 -
Dragonwell 11不支持
${POD_IP}变量。 -
如果您没有将/home/admin/nas容器路径挂载到NAS目录,则必须保证该目录在应用启动前已存在,否则将不会产生日志文件。
通过-Xms -Xmx限制堆大小
-
您可以通过设置
-Xms和-Xmx来限制堆大小,但该方式存在以下两个问题:-
当实例的规格大小调整后,需要重新设置堆大小参数。
-
当参数设置不合理时,会出现业务应用内存未达到JVM堆大小上限,但容器OOM被强制关闭的情况。详见容器出现137退出码的含义是什么?
-
-
推荐的JVM参数设置。
-Xms2048m -Xmx2048m -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/home/admin/nas/gc-${POD_IP}-$(date '+%s').log -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nas/dump-${POD_IP}-$(date '+%s').hprof参数说明如下。
参数
说明
-Xms设置JVM初始内存大小。建议与
-Xmx相同,避免每次垃圾回收完成后JVM重新分配内存。-Xmx设置JVM最大可用内存大小。为避免容器OOM,请为系统预留足够的内存大小。
-XX:+PrintGCDetails输出GC详细信息。
-XX:+PrintGCDateStamps输出GC时间戳。日期形式,例如2019-12-24T21:53:59.234+0800。
-Xloggc:/home/admin/nas/gc-${POD_IP}-$(date '+%s').logGC日志文件路径。需保证Log文件所在容器路径已存在,建议您将该容器路径挂载到NAS目录或收集到SLS,以便自动创建目录以及实现日志的持久化存储。
-XX:+HeapDumpOnOutOfMemoryErrorJVM发生OOM时,自动生成Dump文件。
-XX:HeapDumpPath=/home/admin/nas/dump-${POD_IP}-$(date '+%s').hprofDump文件路径。需保证Dump文件所在容器路径已存在,建议您将该容器路径挂载到NAS目录,以便自动创建目录以及实现日志的持久化存储。
-
推荐的堆大小设置。
内存规格大小
JVM堆大小
1 GB
600 MB
2 GB
1434 MB
4 GB
2867 MB
8 GB
5734 MB
-
在JDK 11及之后的版本中,日志相关的参数
-XX:+PrintGCDetails、-XX:+PrintGCDateStamps、-Xloggc:$LOG_PATH/gc.log已被废弃,请使用参数-Xlog:gc:$LOG_PATH/gc.log代替。 -
Dragonwell 11不支持
${POD_IP}变量。 -
如果您没有将/home/admin/nas容器路径挂载到NAS目录,则必须保证该目录在应用启动前已存在,否则将不会产生日志文件。
通过ossutil下载堆转储文件
-
挂载容器日志目录至NAS。具体操作,请参见设置NAS存储。
-
设置JVM参数。
其中Dump文件路径/home/admin/nas为NAS挂载目录:
-Xms2048m -Xmx2048m -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/home/admin/nas/gc-${POD_IP}-$(date '+%s').log -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/nas/dump-${POD_IP}-$(date '+%s').hprof -
当应用发生OOM时,会生成堆转储文件到NAS挂载目录,您可以利用ossutil工具,将该Dump文件下载到本地进行分析。具体操作,请参见通过日志上传下载诊断应用。
常见问题
容器出现137退出码的含义是什么?
当容器使用内存超过限制时,会出现容器OOM,导致容器被强制关闭。此时业务应用内存可能并未达到JVM堆大小上限,所以不会产生Dump日志。建议您调小JVM堆大小的上限,为容器内其他系统组件预留足够多的内存空间。
top - 16:24:55 up 7 min, 0 users, load average: 0.02, 0.06, 0.02
Tasks: 3 total, 1 running, 2 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.7 us, 0.0 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 4082720 total, 54076 free, 3926896 used, 101748 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 82080 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 20 0 6265840 3.6g 21080 S 0.7 92.5 0:14.52 java
96 root 20 0 15264 3348 3088 S 0.0 0.1 0:00.00 sh
101 root 20 0 59596 4056 3536 R 0.0 0.1 0:00.03 top
{"status":"Failure","message":"command terminated with non-zero exit code","reason":"NonZeroExitCode","details":{"causes":[{"reason":"ExitCode","message":"137"}]}}
为什么发生OOM却没有生成Dump文件?
当发生OOM Killer时,并不一定会发生JVM OOM,所以不会生成Dump文件。您可以采取以下方式来避免这种情况。
-
如果是Java应用,可以适当调小JVM的堆内存大小。具体配置,请参见本文。
-
如果是非Java应用,可以调整实例规格,保证充裕的内存资源。具体配置,请参见变更实例规格。
堆大小和规格内存的参数值可以相同吗?
不可以。因为系统自身组件存在内存开销,例如使用SLS进行日志收集(设置日志收集至SLS)时会占用一小部分的内存空间,所以不能将JVM堆大小设置为和规格内存大小相同的数值,需要为这些系统组件预留足够的内存空间。
在JDK 8版本下设置-XX:MaxRAMPercentage值为整数时报错怎么处理?
这是JDK 8的一个Bug。具体信息,请参见Java Bug Database。例如,在JDK 8u191版本下,设置-XX:MaxRAMPercentage=70,此时JVM会启动报错。
Picked up JAVA_TOOL_OPTIONS: -javaagent:/home/admin/.opt/ArmsAgent/arms-bootstrap-1.7.0-SNAPSHOT.jar
-Darms.licenseKey=xxx -Darms.appId=xxx -Darms.agent.env=Serverless
-Darms.agent.args=xxx -Dprofiler.micro.service.canary.enable=true -Dprofiler.micro.service.metadata.report.enable=true
-Dprofiler.micro.service.http.server.enable=true -Dmsc.appName=cn-beijing-dev-demo-dev-5d0404 -Dmsc.licenseKey=xxx
Improperly specified VM option 'MaxRAMPercentage=70'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
解决方案如下:
-
方式一:设置
-XX:MaxRAMPercentage为70.0。说明如果您使用了
-XX:InitialRAMPercentage或-XX:MinRAMPercentage,参数值同样不可设置为整数,需按照方式一的形式来设置。 -
方式二:升级JDK版本至JDK 10及以上版本。
为什么JVM参数设置了6 GB,但是内存使用率却很低?
虽然JVM参数已设置-Xms6g -Xmx6g,但是操作系统不会马上分配6 GB的物理内存,需要实际使用后才分配。因此,内存使用率在应用启动的时候,会相对较低,后续会出现攀爬现象。