35 redis 缓存冷启动分析及解决思路

上一篇 如何将代码打包部署到storm 集群运行, 主要讲解了如何将代码打包部署到storm 集群运行,本篇主要讲解缓存冷启动带来的问题及解决方案思路。

缓存冷启动

应用部署分析

根据上图,我们能知道些什么呢,能看出什么呢???

  • 应用系统新版本上线,这时候 redis cluster 集群内存中可能没有数据的,这时候大量请求进去,会导致大量的高并发请求和流量直接打到mysql 中,完蛋,mysql 挂了,redis cluster 集群中也没有数据,这时候整个系统就处于不可用状态
  • 应用系统运行过程中,突然 redis cluster 集群挂了,内存中数据也没有了,就算开启了持久化也无法恢复数据,然后集群在故障中重新启动,这时候全部请求同样进入mysql,mysql 也搞挂了,系统同样出于不可用状态

从上面两点看,不管如何,只要redis cluster 集群内存中没有数据,那么大量请求进来,都有可能导致mysql崩溃,从而系统不可以用。

redis cluster 集群启动,没有任何的缓存数据,可以称之为redis缓存冷启动。

缓存冷启动,redis cluster启动后,没有任何数据,就直接对外提供服务了,这是mysql 就相当于裸奔状态。

前几篇笔者提到过,解决冷启动的方案是数据预热

缓存预热

解决方案思路
  • redis 启动后,提前给redis 灌入部分数据,然后再给应用提供服务
  • 部分数据指的是根据当天具体的访问情况,进行时时统计出访问频率较高的数据(热数据),因为我们不可能将所有数据写入redis,数据量大,灌入数据时间消耗长,而且也没必要
  • 热数据会比较多,这时候我们需要多个服务并行进行读写(并行的分布式缓存预热)
  • 完成以上数据预热,然后提供对外服务,这样就不会存在redis 冷启动了,从而减少了大部分数据的 mysql 读压力
技术处理思路(结合笔者前面的内容)
  • 通过 nginx+lua 将访问流量上报到kafka

统计当前最新的实时的热数据是哪些,我们只需要将商品详情页访问的请求流量日志,实时上报到kafka即可

  • 利用storm实时计算能力,从 kafka 中消费上报的流量日志数据,统计出商品对应访问次数

访问次数通过 商品id ,次数 方式存储,可以使用LRUMap的内存数据结构的存储方案,LRUMap 性能高,并且没有外部依赖问题

优先用内存中的一个LRUMap去存放,性能高,而且没有外部依赖(指的是第三方存储,比如redis、hbase、mysql等等)

科普: LRUMap的初始化时需要指定最大集合元素个数,新增的元素个数大于允许的最大集合个数时,则会执行 LRU淘汰算法。所有的元素在LRUMap中会根据最近使用情况进行排序。最近使用的会放在元素的最前面(LRUMap是通过链表来存储元素内容). 所以LRUMap进行淘汰时只需要删除链表最后一个即可(即header.after所指的元素对象)

LRUMap 可以考虑维护一个最多前N个商品的限制,不需要全部的数据(本身LRUMap 就是基于 LRU(least recently used) 算法实现,apache commons collections有开源的实现)

  • 每个storm task启动的时候,基于zk分布式锁,将自己的id写入zk同一个节点中

  • 每个storm task负责完成自己这里的热数据的统计,每隔一段时间,就遍历一下这个map,然后维护一个前N个商品的list,并更新list

  • 启动一个后台线程,每隔一段时间,比如1分钟,都将排名前N的热数据list,同步到zk中去,存储到这个storm task对应的一个znode中

  • 启动一个服务(可能有多个实例,分布式并行获取 zk 锁)

去根据storm task列表,拿到taskid,然后拿到zk 中对应的热数据list,最后从mysql 中查询出来,写到缓存中,进行预热

以上就是本章内容,如有不对的地方,请多多指教,谢谢!

为了方便有需要的人,本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY

下章预告:主要 讲解 nginx+lua 实现请求流量上报kafka

作者:逐暗者 (转载请注明出处)

推荐阅读更多精彩内容