0
点赞
收藏
分享

微信扫一扫

SpringBoot SSE服务端主动推送事件详解

践行数据分析 2023-06-02 阅读 41

缓存

在这里插入图片描述

Redis缓存更新方式

这是决定在使用缓存时就该考虑的问题。

  • 设置缓存数据的TTL,当缓存数据失效后,如果有系统要请求,则会查询数据库并插入缓存(被动更新) 不友好
  • 在各类会往mysql写入数据的系统中,植入更新缓存的逻辑(判断哪些表的数据是热点数据,那么就可以在这些表数据的更新操作逻辑中植入缓存刷新逻辑)
    (严重弊端:将缓存更新逻辑与系统的业务逻辑高度耦合)后期维护很麻烦
  • 异步更新:开发一个异步任务,定期从mysql数据库中读取“热门表”的数据更新缓存(时效性低)
  • 利用canal监听mysql的binlog写入kafka,开发一个更新程序,消费kafka中的binlog信息,并根据“热度方案”进行缓存数据的更新;
    (时效性强!对业务系统的mysql数据库几乎不带来任何压力!跟业务系统完全没有耦合,修改扩展维护都很方便)

数据不一致

第二个问题是数据不一致的问题,可以说只要使用缓存,就要考虑如何面对这个问题。缓存不一致产生的原因一般是主动更新失败,例如更新 DB 后,更新 Redis 因为网络原因请求超时;或者是异步更新失败导致。
解决的办法是,如果服务对耗时不是特别敏感可以增加重试;如果服务对耗时敏感可以通过异步补偿任务来处理失败的更新,或者短期的数据不一致不会影响业务,那么只要下次更新时可以成功,能保证最终一致性就可以。

缓存穿透

有人、系统,频繁查询数据库中不存在的数据;那么,缓存相当于不存在!
产生这个问题的原因可·能是外部的恶意攻击,例如,对用户信息进行了缓存,但恶意攻击者使用不存在的用户id频繁请求接口,导致查询缓存不命中,然后穿透 DB 查询依然不命中。这时会有大量请求穿透缓存访问到 DB。
解决的办法如下。
对不存在的数据,在缓存中保存一个空对象进行标记,防止相同 ID 再次访问 DB。不过有时这个方法并不能很好解决问题,可能导致缓存中存储大量无用数据
使用 BloomFilter 过滤器,BloomFilter 的特点是存在性检测,如果 BloomFilter 中不存在,那么数据一定不存在;如果 BloomFilter 中存在,实际数据也有可能会不存在。非常适合解决这类的问题

缓存击穿

就是某个热点数据失效时,大量针对这个数据的同时请求会穿透到数据源。
解决这个问题有如下办法。
可以使用互斥锁更新,保证同一个进程中的多个线程针对同一个数据不会并发请求到 DB,减小 DB 压力。但是查询的效率相对会低很多
使用随机退避方式,失效时随机 sleep一个很短的时间,再次查询,如果失败再查询mysql并更新redis。

缓存雪崩

缓存雪崩缓存雪崩缓存雪崩缓存雪崩缓存雪崩缓存雪崩缓存雪崩,产生的原因是缓存挂掉,这时所有的请求都会穿透到 DB。
解决方法:使用主从模式和集群模式来尽量保证缓存服务的高可用。
针对多个热点 key 同时失效的问题,可以在缓存时使用固定时间加上一个小的随机数,避免大量热点 key 同一时刻失效。

缓存淘汰机制

TTL删除策略

可以为数据设置TTL(存活时长),时长一到,数据就会被删除
缓存数据TTL的删除策略可分为三种

  • 定时删除(对内存友好,对CPU不友好)
    到时间点上就把所有过期的键删除了。
  • 惰性删除(对CPU极度友好,对内存极度不友好)
    每次取键的时候,判断一下该键是否过期了,如果过期了就删除。
  • 定期删除(折中)
    每隔一段时间去检查及删除过期键,限制删除的执行时长和频率。
    Redis的过期数据的删除策略:采用的是惰性删除+定期删除两种策略。所以说,在Redis里边如果过期键到了过期的时间了,未必被立马删除的!

LRU(least recently used)淘汰策略

Redis可以设置内存最大使用量,当内存使用量超出阈值时,会执行数据淘汰策略。
Redis的内存数据淘汰机制有以下几种:

策略描述
volatile-lru从已设置过期时间的数据集中挑选最近最少使用的数据进行淘汰
volatile-ttl从已设置过期的时间数据集中挑选将要过期的数据淘汰
volatile-random从已设置过期时间的数据集中任意选择数据淘汰
allkeys-lru从所有数据集中挑选最近最少使用的数据淘汰
allkeys-random从所有数据集中任意选择数据进行淘汰
noeviction禁止驱逐数据
volatile-lfu从已设置过期时间的数据集中使用LFU策略淘汰

一般场景:
使用 Redis 缓存数据时,为了提高缓存命中率,尽量将所有热数据存在缓存中,可以将内存最大使用量设置为热点数据占用的内存量,然后启用allkeys-lru淘汰策略,将最近最少使用的数据淘汰

LRU概念
LRU(The Least Recently Used,最近最少未使用)是一种常见内存管理算法,最早应用于Linux操作系统,在Redis中也有广泛使用的。
LRU算法有这样一种假设:如果某个数据长期不被使用,在未来被用到的几率也不大;因此缓存容量达到上限时,应在写入新数据之前删除最久未使用的数据值,从而为新数据腾出空间。

LFU概念
LFU(The Least Frequently Used,最不经常使用)也是一种常见的缓存算法。
和LRU类似,LFU同样有这样的假设:如果一个数据在最近一段时间很少被访问到,那么可以认为在将来它被访问的可能性也很小。因此,当空间满时,最小频率访问的数据最先被淘汰;当存在两个或者更多个键具有相同的使用频次时,应该淘汰最久未使用的数据。(类比LRU)
举报

相关推荐

0 条评论