基于Spark构建数据分析系统-习题 基于Spark构建数据分析系统-习题 7.2了解HBase的基本架构.docxVIP

PAGE 130 大数据构建与应用 单元7 HBase分布式列数据库 单元介绍 HBase是Hadoop Database的简写，HBase是Google Bigtable的开源实现，它是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在集群服务器间搭建大规模结构化存储集群。 学习任务 通过本单元学习，需要掌握Hbase的基本原理、列式数据的基本思想以及Hbase的搭建、使用。 任务7.2了解HBase的基本架构 【任务分析】 在任务7.1中，我们已经了解了Google的Bigtable的基本思想，下面我们来具体了解HBase。 【相关知识】 Hbase是Apache Hadoop的一个子项目，HBase依托于Hadoop的HDFS作为基本存储单元，可以通过HDFS来查看HBase中存储的数据、文件夹及结构，同样也可以通过并行计算框架MapReduce来对HBase进行操作。 和Bigtable一样，HBase也是介于Map Entry(key value)和DB Row之间的一种数据存储方式。疏松的表存储结构，用户可以给行定义各种不同的列，这样的架构在大数据项目中相当实用，可以简化设计和升级成本。 当然，与传统关系型数据库相比，HBase的键值存储提升了查找的复杂度，所以如果数据量没有达到大数据规格，那个使用Hbase会显得比较鸡肋。 HBase逻辑视图 RowKey：是字节串，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。 Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列 Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加 Version Number：类型为Long，默认值是系统时间戳，可由用户自定义 Value：字节串 HBase物理模型 与Hadoop生态圈中其他组件一样，HBase也不会脱离HDFS，每一个column family存储在HDFS上的一个单独文件中，空值不会被保存。RowKey和Version Number在每个column family中都会保存一份。HBase为每一个值对维护了多级索引，例如：key, column family, column name, timestamp。 HBase Table实际在HDFS中的存储形式主要分为以下几点： Table中所有行都按照row key的字典序排列； Table在行的方向上分割为多个Region； Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region； Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。 Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成，StoreFile包含HFile；memStore存储在内存中，StoreFile存储在HDFS上。 HBase架构 HBase逻辑架构图： HBase基本组件说明 Client Client组件包含HBase的接口，并维护cache来加快对HBase的访问。 Master 为Region Server分配region 负责Region Server的负载均衡 发现失效的Region Server并重新分配它的region 管理用户对table的增删改查操作 Region Server Region Server维护region，并处理region的I/O请求 Region Server负责切分在运行过程中变得过大的region Zookeeper Zookeeper主要为了解决Master的单点问题，在后续章节中，我们将为大家详细介绍Zookeeper。