Hbase.pptxVIP

深入 HBase 架构解析Hbase简介Hbase是一个分布式的，多版本的，面向列的开源数据库利用Hadoop HDFS作为其文件存储系统，提供高可靠性，高性能,列存储，可伸缩，实时读写的数据库系统利用Hadoop MapReduce来处理Hbase中的海量数据利用zookeeper作为协同服务Hbase简介强一致性同一行数据的读写只在同一台region server上进行水平伸缩Region的自动分裂以及master的balance增加datanode就可以增加容量增加Region server既可以增加读写吞吐量HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：HMaster节点用于：管理HRegionServer，实现其负载均衡。管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegionServer退出时迁移其内的HRegion到其他HRegionServer上。实现DDL操作（Data Definition Language，namespace和table的增删改，column familiy的增删改等）。管理元数据权限控制（ACL）。HRegionServer节点用于：存放和管理本地HRegion。读写HDFS，管理Table中的数据。Client直接通过HRegionServer读写数据（从HMaster中获取元数据，找到RowKey所在的HRegion/HRegionServer后）。ZooKeeper集群是协调系统，用于：存放整个 HBase集群的元数据以及集群的状态信息。实现HMaster主从节点的failover。HBase Client通过RPC方式和HMaster、HRegionServer通信；一个HRegionServer可以存放1000个HRegion；底层Table数据存储于HDFS中，而HRegion所处理的数据尽量和数据所在的DataNode在一起，实现数据的本地化；数据本地化并不是总能实现，比如在HRegion移动(如因Split)时，需要等下一次Compact才能继续回到本地化。HRegionHMasterZooKeeperHow The Components Work Together第一次读写hbase0.96版本以后hbase:meta表HRegionServer详解HRegionServer一般和DataNode在同一台机器上运行，实现数据的本地性。HRegionServer包含多个HRegion，由WAL(HLog)、BlockCache、MemStore、HFile组成。HStore是HBase中存储的核心HRegionServer中数据写流程图解HRegionServer中数据写流程图解MemStore Flush三种情况可以触发MemStore的Flush动作当一个MemStore的大小超过了hbase.hregion.memstore.flush.size的大小，默认128MB。此时当前的HRegion中所有的MemStore会Flush到HDFS中。当全局MemStore的大小超过了hbase.regionserver.global.memstore.upperLimit的大小，默认40％的内存使用量。此时当前HRegionServer中所有HRegion中的MemStore都会Flush到HDFS中，Flush顺序是MemStore大小的倒序（一个HRegion中所有MemStore总和作为该HRegion的MemStore的大小还是选取最大的MemStore作为参考？有待考证），直到总体的MemStore使用量低于hbase.regionserver.global.memstore.lowerLimit，默认38%的内存使用量。当前HRegionServer中WAL的大小超过了hbase.regionserver.hlog.blocksize * hbase.regionserver.max.logs的数量，当前HRegionServer中所有HRegion中的MemStore都会Flush到HDFS中，Flush使用时间顺序，最早的MemStore先Flush直到WAL的数量少于hbase.regionserver.hlog.blocksize * hbase.regionserver.max.logs。HFile格式V1HFile里面的每个KeyValueHFileV2