分布式数据存储系统预案.ppt

* * * * * * * * * HBase的架构及实现 HBase物理存储 HFile文件中键-值对结构 * HBase的架构及实现 HBase物理存储 Log文件结构 * HBase与BigTable的比较 面向列存储系统HBase * HBase与BigTable的比较 * 研 讨 MongoDB原理及应用 NoSQL查询优化 * * * * * * * * * * * * * * * * * * * * * * * * * * * 第四章 分布式数据存储系统 * 概述 传统关系型数据库面临以下问题 对数据库高并发读写的需求 对海量数据的高效率存储和访问的需求 对数据库的高可扩展性和高可用性的需求 * 传统关系型数据库面临以下问题 关系型数据库的很多主要特性对于Web 2.0网站来说也无用武之地 （1）事务一致性 （2）读写实时性 （3）多表关联查询 * NoSQL数据库简介 NoSQL的起源与发展 NoSQL的发展最早可以追溯到1991年数据库BerkeleyDB第一版的发布 术语NoSQL最早出现于1998年，是Carlo Strozzi所开发的一个轻量级的、开源的、不提供SQL功能的关系数据库的名字 NoSQL得到真正的快速发展始于2007年 2009年，第一次NoSQL大会在柏林召开，标志着一场NoSQL运动的兴起 * NoSQL数据库简介 NoSQL概述 NoSQL的定义 NoSQL的特性 良好的横向扩展能力 复制和分区能力 接口简单 弱事务模型 使用分布式索引和基于内存的存储数据 模式自由 * NoSQL数据库简介 NoSQL系统架构 Master-Slave主从结构 BigTable和Hbase P2P环形结构 Cassandra * NoSQL数据库简介 NoSQL的数据模型 面向键-值的存储模型 Berkeley DB、Amazon Dynamo/SimpleDB、Redis等 面向文档的存储模型 SimpleDB、CouchDB、MongoDB和Riak 面向图的存储模型 Neo4j、FlockDB、Infinite Graph、HyperGraphDB等 面向列的存储模型 * NoSQL数据库简介 NoSQL的数据模型 面向列的存储模型 BigTable、HBase和Cassandra 例子:名字（first_name）、姓氏（last_name）、邮编（zip_code）和性别（gender）属性列 * NoSQL的数据模型 面向列的存储 * NoSQL的数据模型 面向列的存储 * NoSQL理论基础 最终一致性 因果一致性（Causal Consistency） 读己之所写一致性（Read-your-writes Consistency） 会话一致性（Session Consistency） 单调读一致性（Monotonic read Consistency） 单调写一致性（Monotonic Write Consistency） 在实际系统中，如Amazon的Dynamo采用NWR策略 NoSQL数据库简介 * NoSQL理论基础 CAP理论 CAP理论最早由Eric Brewer教授在2000年召开的PODC（Symposium on Principles of Distributed Computing）会议上提出 后由Seth Gilbert和Nancy Lynch两人证明了CAP理论的正确性 * CAP理论将分布式系统中的三个特性 一致性（Consistency） 可用性（Availability） 分区容忍性（Tolerance to Network Partitions） NoSQL理论基础 CAP理论 * CAP理论 CAP理论导致了分布式系统需要在一致性和可用性之间进行权衡，从而导致了最终一致性和强一致性两种选择 考虑CA，这就是传统上的关系型数据库。 考虑CP，主要是一些key-value数据库，典型代表为Google的BigTable。 考虑AP，主要是一些面向文档的适用于分布式系统的数据库，如SimpleDB NoSQL理论基础 * NoSQL理论基础 BASE原则 BASE原则实际上是CAP理论中AP的延伸，通过牺牲强一致性来获得可用性或分区容忍性 Basically Available（基本可用） Soft-state（软状态/柔性事务） Eventual Consistency（最终一致性） * NoSQL数据库体系结构 NoSQL数据库简介 * NoSQL与SQL的比较 NoSQL数据库简介 * 概述 面向列存储系统BigTable BigTable是Google开发的基于GFS和Chubby的分布式存储系统 2009年10月25日