原理分布式数据库hbase.pdfVIP

分布式数据库HBase 1 内容 HBase的历史和特点 HBase和其他Hadoop成员的关系 HBase的数据模型 HBase的访问接口 HBase的运行组成 HBase Region HBase的读写 其他HBase功能 2 为何需要构建分布式数据库 • 从数据类型来说，在网络上存在大量的结构化与半结构 化数据，如果仅仅使用分布式文件系统的方式就会丢失 大量结构信息 – URL数据，针对每一个网页有：网页内容，元数据，链接信 息，链接描述数据，PageRank的值 – 对于每个用户的数据来说，有用户自己特定的设定，最近的 查询历史等 – 对于网络应用程序来说，例如购物网站的商品信息以及用户 信息；卫星数据的一些标志数据等 • 数据规模十分庞大 – 对于网页来说，显然整个互联网的数据无法估量 – 用户数目也极其庞大，造成用户数据也十分庞大 – 对于网络应用程序来说，只要服务于整个互联网的，造成的 数据规模也十分庞大 3 传统的数据库管理系统是否能够完成工作 • 对于绝大多数商业数据库来说，云条件下的数据都 过于庞大 • 关系模型对数据的操作使数据的存贮变得复杂。传统 数据库的强一致性的要求，往往在处理互联网规模的 数据的时候显得无法胜任 • 即使不考虑数据规模，对于任何应用来说，使用如 此大规模的商业数据库都会造成花费极多（想象一 下昂贵的商用数据库） • 可以对传统的数据库进行改良，但是改良的关系数 据库（副本、分区等）难于安装与维护 • 因此，Google启动了BigTable项目，用以处理 Google内部的大规模的结构化以及半结构化数据 4 关系数据库的理论局限性 • RDBMS选择了ACID – 超强的一致性（transaction）牺牲了水平可扩展性 • Scale up, not out – 并行数据库 的扩展性 • 经验定律：当集群节点数每增加4~16台, 每个节点的效率下降一半 – 无法扩展超过~40节点 • 最新的TPC-C世界纪录: 27 servers • 最新的TPC-H世界纪录: 32 servers • “One size does not fit all” – 在所有数据库的主要应用领域，新的架构轻易得有10x倍性能 提升 (数据仓库, 流处理,科学计算, 非结构化数据处理， OLTP在线事务处理)* * ACM SIGACT News, Volume 33 Issue 2 (2002): “Brewers conjecture and the feasibility of consistent, available, partition-tolerant web services” * ICDE 2005