【精品】分布式存储及应用系统架构分析[86页].doc

分布式存储及应用系统架构分析 目 录 目 录 1 1 Memcached 4 1.1 Memcached架构 4 1.2 Memcache实现分析理解 5 1.2.1 实现结构 5 1.2.2 内存分配管理 25 1.2.3 在Slab中缓存记录的原理 27 1.2.4 Slab Allocator的缺点 28 1.2.5 memcached在数据删除方面有效利用资源 29 1.2.6 数据不会真正从memcached中消失 29 1.2.7 Lazy Expiration 29 1.2.8 LRU：从缓存中有效删除数据的原理 29 1.3 memcached的最新发展方向 30 1.3.1 关于二进制协议 30 1.3.2 二进制协议的格式 30 1.3.3 HEADER中引人注目的地方 32 1.4 外部引擎支持 33 1.4.1 外部引擎支持的必要性 33 1.4.2 简单API设计的成功的关键 33 1.4.3 重新审视现在的体系 34 1.5 分布处理 35 1.5.1 Memcached的特点 35 1.5.2 分布式算法 35 1.6 memcached的分布式 36 1.6.1 memcached的分布式是什么意思？ 36 1.7 Cache::Memcached的分布式方法 39 1.7.1 根据余数计算分散 40 1.7.2 根据余数计算分散的缺点 41 1.8 Consistent Hashing 43 1.8.1 Consistent Hashing的简单说明 43 1.8.2 支持Consistent Hashing的函数库 46 1.9 Memcached 故障处理 47 1.9.1 故障的类型： 47 1.9.2 Rehash处理机制 47 1.10 Memcached应用 47 1.10.1 应用说明 47 1.10.2 应用案例 47 1.10.3 mixi案例研究 50 1.10.4 Fotolog 50 1.11 Memcached优点 52 1.12 Memcached缺点 52 1.13 Memcached性能 53 2 Sina Memcached BDB 53 2.1 系统架构 53 2.1.1 实现结构 53 3 Tokyo Tyrant 54 3.1 系统架构实现 54 3.2 简介和特点 54 3.2.1 故障转移 55 3.2.2 日志文件体积小 55 3.2.3 超大数据量下表现出色 56 3.2.4 性能高 56 4 Redis 56 5 Facebook Memcached MySQL 57 5.1 MySQL Sharding策略 57 6 Facebook Cassandra 60 6.1 简介 60 6.1.1 Cassandra的特点如下： 60 6.2 系统架构 61 6.3 1、目的 62 6.4 2、功能概要 62 6.5 3、数据类型描述 62 6.6 4、Partitioning 63 6.7 5、副本机制 64 6.7.1 NWR 64 6.7.2 副本策略 64 6.8 6、故障和扩展 64 6.8.1 路由更新 65 6.8.2 数据迁移 65 6.8.3 Gossiper： 65 6.9 7、Service 65 6.9.1 StorageProxy——存储服务 65 6.9.2 AntiEntropyService——同步／错误解决服务 67 6.9.3 EmbeddedCassandraService——嵌入式in-memory存储服务 67 6.9.4 StorageLoadBalancer——负载均衡服务 67 6.10 Cassandra数据模型 67 6.10.1 Column 68 6.10.2 SuperColumn 69 6.10.3 Column Family 69 6.10.4 Keyspace 71 6.10.5 简单测试 71 6.10.6 排序 71 6.11 Cassandra存储机制 73 6.12 Cassandra 相关理论 74 6.12.1 Bloom Filter概念和原理 74 6.13 故障处理 78 6.14 事务处理 79 6.15 性能 79 6.16 和其他DB的比较 79 6.16.1 HBase vs Cassandra: 我们迁移系统的原因 79 6.16.2 Yahoo! Cloud Serving Benchmark 79 6.17 应用场景 79 7 Google BigTable 79 8 分析总结 80 9 Xz DB 80 9.1 系统架构 80 9.2 功能设想 80 10 相关问题 80 11 性能考量 82 12 参考 82  Memcached Memcache