Key的过期及逐出策略

Key的过期及逐出策略

更新时间:2020-01-17 16:48:00

概述

本文主要介绍Key的过期及逐出策略,且介绍了使用Redis的一些最佳实践。

 

详细信息

Redis过期Key清理策略

为了防止一次性清理大量过期Key导致Redis服务受影响,Redis会在CPU空闲时清理过期Key。具体Redis逐出过期Key的策略如下所示。

  1. 访问Key时,首先会判断Key是否过期,如果过期,则逐出过期Key。
      robj *lookupKeyRead(redisDb *db, robj *key) {
        robj *val;
        expireIfNeeded(db,key);
        val = lookupKey(db,key);
        ...
        return val;
    }
  2. CPU在空闲时通过serverCron定时任务,逐出部分过期Key。
    aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL)
    
    int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
        ...
          databasesCron();
        ...
    }
    
    void databasesCron(void) {
        /* Expire keys by random sampling. Not required for slaves
         + as master will synthesize DELs for us. */
        if (server.active_expire_enabled && server.masterhost == NULL)
            activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW);
        ...
    }
  3. 每次在事件循环执行的时候,逐出部分过期Key。
    void aeMain(aeEventLoop *eventLoop) {
        eventLoop->stop = 0;
        while (!eventLoop->stop) {
            if (eventLoop->beforesleep != NULL)
                eventLoop->beforesleep(eventLoop);
            aeProcessEvents(eventLoop, AE_ALL_EVENTS);
         }
    }
    void beforeSleep(struct aeEventLoop *eventLoop) {
      ...
      /* Run a fast expire cycle (the called function will return
       - ASAP if a fast cycle is not needed). */
      if (server.active_expire_enabled && server.masterhost == NULL)
        activeExpireCycle(ACTIVE_EXPIRE_CYCLE_FAST);
      ...
    }

 

清理过期Key的算法

Redis过期Key清理的机制对清理的频率和最大时间都有限制,且会在尽量不影响正常服务的情况下,进行过期Key的清理,以达到长时间服务的最优性能。

 

Redis会周期性的随机测试一批设置了过期时间的Key并进行处理,测试到已过期的Key将被删除,具体的算法如下所示。

  1. Redis配置项hz定义了serverCron定时任务的执行周期,该默认值为10,即CPU空闲时每秒执行10次。
  2. 每次过期Key清理的时间不超过CPU时间的25%,即若hz等于1,则一次清理时间最大为250ms。若hz等于10,则一次清理时间最大为25ms。
  3. 每次清理过期Key时都会依次遍历所有的库。
  4. 从一个库中随机抽取20个Key,判断是否过期,若过期,则逐出过期Key。
  5. 若有5个以上Key过期,则重复上一步步骤,否则遍历下一个库。
  6. 在清理过程中,若达到了CPU时间的25%,则退出清理过程。

 

这是一个基于概率的简单算法,假设抽出的样本基本能够代表整个Key,Redis会持续清理过期的Key,直至将要过期Key的百分比降到25%以下。从长期来看,在任何给定时刻,已经过期但仍占据着内存空间的Key的量最多为每秒写操作量除以4。

  • 由于算法采用的是随机取Key,判断是否过期的方式,故几乎不可能清理完所有的过期Key。
  • 调高hz参数可以提升清理的频率,过期Key会更及时的被理,但hz太高会增加CPU时间的消耗,需要根据实际业务进行配置。

 

数据逐出算法

根据用户设置的逐出策略,选出待逐出的key,直到当前内存小于最大内存值为止。具体的逐出策略信息请参考默认的数据逐出策略

 

使用Redis的注意事项

本节主要介绍使用Redis的一些注意事项。

  • 不要存放垃圾数据,且需要及时清理无用数据。
    • 即实验性的数据和下线业务数据需要及时删除。
  • Key尽量都设置过期时间。
    • 对具有时效性的Key设置过期时间,且可通过Redis自身过期Key清理策略,降低过期Key对于内存的占用,同时也能够减少业务的运维成本,不需要定期手动清理.
  • 单Key不要过大。
    • Redis单个string的value为43M,或list有几百万个成员,占用1G多内存,这种Key在访问时,网络传输延迟较大,需要分配的输出缓冲区也比较大,在定期清理的时候也容易造成比较高的延迟。因此最好能通过业务拆分或数据压缩等方式避免这种过大的Key产生。
  • 不同业务使用一个Redis时,最好使用不同的逻辑库区分业务。
    • Redis的过期Key清理策略和淘汰策略都会遍历各个库,因此将Key分布在不同的库有助于过期Key的及时清理。另外不同业务使用不同库,也有助于问题排查和无用数据的及时下线。

 

相关文档

如果需要查看详细的介绍,请参考Key的过期及逐出策略

 

适用于

  • 云数据库 Redis