Bada构建主从去中心混合架构的NoSQL.pdf

Bada 构建主从/去中心 混合架构的NoSQL 概要 • 背景介绍- 百亿数据的困惑 • 混合架构设计的考虑 • 新架构？新挑战！ • 经验总结 背景介绍- 业务架构 背景介绍– 原有方案 • (File / File Block) Deduplication – MongoDB v2.0/2.2/2.4 – Mongos + Mongod(Primary 1 + Secondary 2) – 144G RAM + 300G SSD * 5 – 12 servers / IDC, 20+ IDC 背景介绍– 原有方案 • 百亿数据面临的问题 – Bson 数据膨胀率高 – 扩展节点周期长 – 延迟不稳定：Thread - DB锁 – 数据可靠性低, 主从切换数据丢失 混合架构设计的考虑 • 新的方案？ – 延迟低、稳定 – 膨胀率低 – 节点伸缩效率高 混合架构设计的考虑 • 延迟低、稳定 – 磁盘介质：SSD – 存储引擎：LevelDB / RocksDB – 网络模型：Erlang OTP – 副本机制：Primary Secondary 混合架构设计的考虑 • 膨胀率 – LevelDB：snappy – RocksDB：snappy, zlib, bzip2, lz4, lz4_hc 混合架构设计的考虑 • 节点伸缩 – 迁移最小粒度partition – LevelDB Instance/partition 混合架构设计的考虑 • 分布式系统关键要素 – 路由策略 – 副本策略 – 一致性 – 容错 混合架构设计的考虑 • 路由策略 – 两级映射 • 优点： – 算法简单 – 节点伸缩负载均衡 混合架构设计的考虑 vP1 NODE A vP2 Server 1 ) Y n E o K i ( t vP3 a n l o e NODE B s K-V i R p t p c g n