Redis缓存技术设计.docx

? ? Redis缓存设计 ? ? 　　一、缓存的收益和成本 　　左侧为客户端直接调用存储层的架构，右侧为比较典型的缓存层+存储层架构， 　　 　　缓存加入后带来的收益如下： 加速读写：因为缓存通常都是全内存的（例如Redis、Memcache），而存储层通常读写性能不够强悍（例如MySQL），通过缓存的使用可以有效地加速读写，优化用户体验。 降低后端负载：帮助后端减少访问量和复杂计算（例如很复杂的SQL语句），在很大程度降低了后端的负载。 　　缓存加入后带来的成本如下： 数据不一致性：缓存层和存储层的数据存在着一定时间窗口的不一致性，时间窗口跟更新策略有关。 代码维护成本：加入缓存后，需要同时处理缓存层和存储层的逻辑，增大了开发者维护代码的成本。 运维成本：以Redis Cluster为例，加入后无形中增加了运维成本。缓存的使用场景基本包含如下两种： 开销大的复杂计算：以MySQL为例子，一些复杂的操作或者计算（例如大量联表操作、一些分组计算），如果不加缓存，不但无法满足高并发量，同时也会给MySQL带来巨大的负担。 加速请求响应：即使查询单条后端数据足够快（例如select * from table where id=），那么依然可以使用缓存，Redis每秒可以完成数万次读写，并且提供的批量操作可以优化整个IO链的响应时间。 　　二、缓存更新策略 　　缓存中的数据通常都是有生命周期的，需要在指定时间后被删除或更新，这样可以保证缓存空间在一个可控的范围。但是缓存中的数据会和数据源中的真实数据有一段时间窗口的不一致，需要利用某些策略进行更新。 　　下面将分别从使用场景、一致性、开发人员开发/维护成本三个方面介绍三种缓存的更新策略。 　　（1）LRU/LFU/FIFO算法剔除　　使用场景。剔除算法通常用于缓存使用量超过了预设的最大值时候，如何对现有的数据进行剔除。例如Redis使用maxmemory-policy这个配置作为内存最大值后对于数据的剔除策略。　　一致性。要清理哪些数据是由具体算法决定，开发人员只能决定使用哪种算法，所以数据的一致性是最差的。　　维护成本。算法不需要开发人员自己来实现，通常只需要配置最大maxmemory和对应的策略即可。开发人员只需要知道每种算法的含义，选择适合自己的算法即可。　　（2）超时剔除　　使用场景。超时剔除通过给缓存数据设置过期时间，让其在过期时间后自动删除，例如Redis提供的expire命令。如果业务可以容忍一段时间内，缓存层数据和存储层数据不一致，那么可以为其设置过期时间。在数据过期后，再从真实数据源获取数据，重新放到缓存并设置过期时间。例如一个视频的描述信息，可以容忍几分钟内数据不一致，但是涉及交易方面的业务，后果可想而知。　　一致性。一段时间窗口内（取决于过期时间长短）存在一致性问题，即缓存数据和真实数据源的数据不一致。　　维护成本。维护成本不是很高，只需设置expire过期时间即可，当然前提是应用方允许这段时间可能发生的数据不一致。　　（3）主动更新　　使用场景。应用方对于数据的一致性要求高，需要在真实数据更新后，立即更新缓存数据。例如可以利用消息系统或者其他方式通知缓存更新。　　一致性。一致性最高，但如果主动更新发生了问题，那么这条数据很可能很长时间不会更新，所以建议结合超时剔除一起使用效果会更好。　　维护成本。维护成本会比较高，开发者需要自己来完成更新，并保证更新操作的正确性。 　　（4）使用建议 低一致性业务建议配置最大内存和淘汰策略的方式使用。 高一致性业务可以结合使用超时剔除和主动更新，这样即使主动更新出了问题，也能保证数据过期时间后删除脏数据。 　　 　　三、缓存粒度控制 　　 　　例如现在需要将MySQL的用户信息使用Redis缓存，可以执行如下操作： 从MySQL获取用户信息： select * from user where id={id} 将用户信息缓存到Redis中： set user:{id} select * from user where id={id} 　　假设用户有100个列，需要缓存到什么维度呢？这个问题就是缓存粒度问题 缓存全部列： set user:{id} select * from user where id={id} 缓存部分重要列： set user:{id} select {importantColumn1}, {important Column2} ...{importantColumnN} from user where id={id} 　　从通用性、空间占用和代码维护三个方面说明究竟是缓存全部属性还是只缓存部分重要属性： 通用性。缓存全部数据比部分数据更加通用，但从实际经验看，很长时间内应用只需