单元1 HBase简介-任务2 HBase架构 (1).pptx

理解HBase架构1.2任务HBase简介单元11

学习目标理解HBase架构。掌握HBase架构中各组件的作用。掌握HBase数据读写流程。

1学习情境

3理解HBase架构

HBase架构HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。HBase是一个数据模型，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。3

HBase架构HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。HBase是一个数据模型，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。3

HBase架构HBase详细架构图解3

HBase架构1.Client提供了访问HBase的一系列API接口，如JavaNativeAPI、Rest风格httpAPI、ThriftAPI、scala等，并维护cache来加快对HBase的访问。2.ZookeeperHBase通过Zookeeper来做Master的高可用，保证任何时候集群中只有一个Master、实时监控RegionServer的上线和下线信息，并实时通知Master、元数据的入口以及集群配置的维护等工作。3

HBase架构3.HDFS：HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用的支持。4.Master：（是所有RegionServer的管理者，其实现类为HMaster）（1）为RegionServer分配Region（2）负责RegionServer的负载均衡（3）发现失效的RegionServer并重新分配其上的Region（4）管理用户对table的增删改操作（对于表的操作（DDL）create,delete,alter）3

HBase架构5.RegionServer：（是Region的管理者，其实现类为HRegionServer）（1）RegionServer维护Region，处理对这些Region的IO请求，向HDFS文件系统中读写数据。（2）RegionServer负责切分在运行过程中变得过大的Region。（3）对于数据的操作：（DML）get,put,delete；3

HBase架构6.Region：Hbase表的切片，HBase表会根据RowKey值被切分成不同的Region存储在RegionServer中，在一个RegionServer中可以有多个不同的Region。7.Hlog：又称WriteAheadlogs（WAL）预写入日志。HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。由于数据要经MemStore排序后才能刷写到StoreFile，但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-AheadlogFile的文件中，然后再写入内存中。所以在系统出现故障的时候，可以通过这个日志文件来恢复数据。3

HBase架构8.Store：StoreFile存储在Store中，一个Store对应HBase表中的一个列族(列簇，ColumnFamily)。9.MemStore：写缓存，由于StoreFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到StoreFile，每次刷写都会形成一个新的StoreFile。3

HBase架构8.Store：StoreFile存储在Store中，一个Store对应HBase表中的一个列族(列簇，ColumnFamily)。9.MemStore：写缓存，由于StoreFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到StoreFile，每次刷写都会形成一个新的StoreFile。3

HBase架构10.StoreFile：这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以HFile的形式存储在HDFS的。每个Store会有一个或多个StoreFile，数据在每个StoreFile中都是有序的（按照RowKey的字典顺序排序）。11.HFile：可以理解成一种文件格式（其他的文件格式txt，orc，parquet...），StoreFile是以HFile格式存储的。3

任务实施启动HBase之后，使用HBaseShell命令进入HBaseShell窗口，然后可以使用help命令浏览帮助文档，查看每个具体参数的使用方法