RDS MySQL内存使用问题

查看内存使用情况

RDS管理控制台提供多种查看活跃线程的方法：

• 监控与报警

  在控制台的监控与报警页面，单击标准监控页签，可以查看实例的MySQL CPU/内存 利用率和InnoDB Buffer Pool 命中率。

  

• 数据库自治服务DAS

  在控制台的自治服务 > 性能趋势页面，单击性能趋势页签，查看MySQL CPU/内存 利用率和InnoDB Buffer Pool 命中率情况。

  

您还可以使用performance_schema，设置相关的内存仪表（instrumentation），通过内存占用统计表查看内存占用。详情请参见MySQL官方文档。

• 要在实例启动时开启内存检测，您可以在控制台修改performance_schema参数，RDS MySQL5.6设置为ON，RDS MySQL5.7、8.0设置为1，设置方法请参见查看实例参数。设置完成后重启实例即生效。

• 要在实例运行中开启内存检测，请执行如下命令：

  update performance_schema.setup_instruments set enabled = 'yes' where name like 'memory%';

从各个维度统计内存消耗的相关表如下：

• memory_summary_by_account_by_event_name：统计指定账号（用户和主机组合）的事件和事件名称。

• memory_summary_by_host_by_event_name：统计指定主机的事件和事件名称。

• memory_summary_by_thread_by_event_name：统计指定线程的事件和事件名称。

• memory_summary_by_user_by_event_name：统计指定用户的事件和事件名称。

• memory_summary_global_by_event_name：统计指定事件名称的事件。

RDS MySQL内存高常见原因

通常InnoDB Buffer Pool的内存占用是最大的，Buffer Pool的内存占用上限受到Buffer Pool配置参数的限制，但是还有很多内存是在请求执行中动态分配和调整的，例如内存临时表消耗的内存、prefetch cache、table cache、哈希索引、行锁对象等，详细的内存占用和相关参数限制，请参见MySQL官方文档。

多语句（multiple statements）

MySQL支持将多个SQL语句用英文分号（;）分隔，然后一起发给MySQL，MySQL会逐条处理SQL，但是某些内存需要等到所有的SQL执行结束才释放。

这种multiple statements的发送方式，如果一次性发送的SQL非常多，例如达到数百兆，SQL实际执行过程中各种对象分配累积消耗的内存非常大，很有可能导致MySQL进程内存耗尽。

一般场景下，如果存在大批量的multiple statements，网络流量会有突增，可以从网络流量监控和SQL洞察，判断是否有这种现象。建议业务实现中尽量避免multiple statements的SQL发送方式。

缓冲池（Buffer Pool）问题

所有表的数据页都存放在缓冲池中，查询执行的时候如果需要的数据页直接命中缓冲池，就不会发生物理I/O，SQL执行的效率较高，缓冲池采用LRU算法管理数据页，所有的脏页放到Flush List链表中。

RDS MySQL的InnoDB Buffer Pool大小默认设置为内存的75%，这部分内存通常是实例内存中占比最大的。

Buffer Pool相关的常见问题：

• 数据页预热不足导致查询的延迟较高。通常发生在实例重启、冷数据读取或缓冲池命中率较低的场景，建议升级实例规格或大促前预热数据。

• 脏页累积太多。当未刷新脏页的最旧LSN和当前LSN的距离超过76%时，会触发用户线程同步刷新脏页，导致实例性能严重下降。优化方式是均衡写入负载、避免写入吞吐过高、调整刷新脏页参数或升级实例规格等。

• 高内存实例的参数innodb_buffer_pool_instances设置较小。高QPS负载情况下，缓冲池的锁竞争会比较激烈。建议高内存的实例将参数innodb_buffer_pool_instances设置为8或16，甚至更高。

临时表

内存临时表大小受到参数tmp_table_size和max_heap_table_size限制，超过限制后将转化为磁盘临时表，如果瞬间有大量的连接创建大量的临时表，可能会造成内存突增。MySQL 8.0实现了新的temptable engine，所有线程分配的内存临时表大小之和必须小于参数temptable_max_ram，temptable_max_ram默认为1 GB，超出后转换为磁盘临时表。

其他原因

如果实例内表特别多或QPS很高，Table Cache可能也会消耗内存，建议实例避免创建太多表或设置参数table_open_cache过大。

自适应哈希索引占用的内存默认是Bufffer Pool的1/64。如果查询或写入长度非常大的Blob大字段，会对大字段动态分配内存，也会造成内存增加。

还有非常多的原因会造成内存上涨，如果出现内存使用率异常增加或实例内存耗尽，您可以参考MySQL官方文档排查上涨原因。