redis集群主流架构方案分析.pdfVIP

redis 集群主流架构方案分析 Redis 在互联网大数据平台有着广泛的应用，主要被用 来缓存热点数据，避免海量请求压垮数据库，同时可以提升 服务节点的响应速度和并发量。随着数据量的增多，由于 redis 是占用单台物理机或虚机的内存，内存资源是有限的， 要动态地扩容缩容，就需要用到 redis 集群。 redis 集群的架 构方案经历了一系列演变和改良的过程，本文介绍了四种主 流的 redis 架构方案。客户端分片优点 不使用第三方中间件，实现方法和代码可以自己掌控并且可 随时调整。 这种分片性能比代理式更好 (因为少了分发环节 ) ， 分发压力在客户端，无服务端压力增加 缺点 不能平滑地水平扩容， 扩容 / 缩容时，必须手动调整分片程序， 出现故障不能自动转移，难以运维 Twemproxy 优点 运维成本低。业务方不用关心后端 Redis 实例，跟操作 Redis 一样。 Proxy 的逻辑和存储的逻辑是隔离的 缺点 a. 代理层多了一次转发，性能有所损耗 b. 进行扩容 / 缩容时候，部分数据可能会失效，需要手动进 行迁移，对运维要求较高，而且难以做到平滑的扩缩容 c. 出现故障，不能自动转移，运维性很差 Redis Cluster 优点 a. 无中心节点 b. 数据按照 Slot 存储分布在多个 Redis 实例上 c. 平滑的进行扩容 /缩容节点 d. 自动故障转移 (节点之间通过 Gossip 协议交换状态信息 , 进行投票机制完成 Slave 到 Master 角 色的提升 ) e. 降低运维成本，提高了系统的可扩展性和高可用性 缺点 a. 严重依赖外部 Redis-Trib b. 缺乏监控管理 c. 需要依赖 Smart Client( 连接维护 , 缓存路由表 , MultiOp 和 Pipeline 支持 ) d. Failover 节点的检测过慢，不如“中心节点 ZooKeeper ” 及时 e. Gossip 消息的开销 f. 无法根据统计区分冷热数据 g. Slave “冷备”，不能缓解读压力 Proxy Redis Cluster 优点 Smart Client ： a. 相比于使用代理， 减少了一层网络传输的消耗， 效率较高。 b. 不依赖于第三方中间件， 实现方法和代码自己掌控， 可随 时调整。 Proxy ： a. 提供一套 HTTP Restful 接口，隔离底层存储。对客户端 完全透明，跨语言调用。 b. 升级维护较为容易，维护 Redis Cluster ，只需要平滑升级 Proxy 。 c. 层次化存储，底层存储做冷热异构存储。 d. 权限控制， Proxy 可以通过秘钥控制白名单，把一些不合 法的请求都过滤掉。并 且也可以控制用户请求的超大 Value 进行控制，和过滤。 e. 安全性，可以屏蔽掉一些危险命令，比如 Keys、Save、 Flush All 等。 f. 容量控制，根据不同用户容量申请进行容量限制。 g. 资源逻辑隔离，根据不同用户的 Key 加上前缀，来进行 资源隔离。 h. 监控埋点，对于不同的接口进行埋点监控等信息。 缺点 Smart Client ： a. 客户端的不成熟，影响应用的稳定性，提高开发难度。