HBase技术平台详解.pdf

技术创新，变革未来 HBase技术平台详解 内容 HBase物理结构 HBase表物理存储 HBase容错 HBase读写过程 HBase访问接口 HBase物理结构 HBase物理结构 Hadoop HDFS为HBase提供了高可靠的底 层存储支持 HBase中所有数据文件存储在HDFS ，主要 有两种文件类型： HFile ：Hadoop的二进制格式文件，存储 KeyValue数据 Hlog ：HBase中WAL （Write Ahead Log） 的 存储格式，物理上是Hadoop的Sequence File StoreFile是对HFile 的轻量级包装，即StoreFile底层就是 HFile HBase表物理存储——重要概念 Region Store MemStore StoreFile HFile HLog HBase表物理存储——Region Table中所有行都按照rowkey的 字典序排序 Table 在行方向上分为多个Region HBase表物理存储——Region HBase表物理存储——Region 行按照行键的字典序排列 表在行的方向上分割为多个Region Region按大小可以分割 每个表一开始只有一个Region 随着数据不断插入，Region不断增大，增 大到一定阈值，Region会等分为两个新的 Region 当表中的行不断增多，就会有越来越多的 Region HBase表物理存储——Region HBase表物理存储——Region HBase表物理存储——Region Region是HBase中分布式存储的最小单元 ，不是存储的最小单元 不同的Region可以分布在不同的 RegionServer上 一个Region不会拆分到多个RegionServer 上 Region是HBase中负载均衡的最小单元 HBase表物理存储——Store HBase表物理存储——Store Region由一个或者多个Store组成，每个 Store保存一个column family 每个Store又由一个MemStore和0至多个 StoreFile组成 MemStore存储在内存中 StoreFile以HFile格式保存在HDFS上 HBase表物理存储——Store HBase表物理存储——Store 用户写入的数据首先放入MemStore MemStore满了会Flush成一个StoreFile （底层实 现是HFile） StoreFile文件数量增长到一定阈值，会触发 Compact操作，将多个StoreFile合并成一个 StoreFile 合并过程会进行版本合并和数据删除  HBase只增加数据，所有更新和删除都是在后续 的compact过程中进行的 用户写操作只要进入内存就可以立即返回，保证 了HBase I/O的高性能 HBase表物理存储——HFile 重点有如下几个部分：  Trailer ：定长的，通过指针指向其他数据块  Data Block Index段：索引，每个Data Block第一条记录的 key保存在其中  Data Block段：保存表中数据，可以被压缩 HBase表物理存储——HFile  Data Block ：HBase I/O的基本单元，RegionServer中有基于LRU的 Bloc