Hbase原理介绍.docx

HBase基本原理数据模型Hbase 是一个类似 Bigtable 的分布式数据库,是一个稀疏的, 长期存储的{存在硬盘上},多维度的,排序的映射表。这张表的索引是行关键字,列关键字和时间戳。每个值是一个不解释的字节数组。行关键字：row key保存为字节数组，是用来检索记录的主键。可以是任意字符串(最大长度是 64KB)。存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)列关键字：由两部分组成：column fimily和qualifier。列族是表的schema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses 这个列族。有关联的数据应都放在一个列族里，不然会降低读写效率。目前hbase并不能很好的处理多个列族，建议最多使用2个列族。时间戳：HBase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。Cell：由{row key, column(=family + label), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。Hbase存储概念视图下图是一个存储Web网页的范例逻辑视图：物理试图：Hbase的系统架构Hbase在hadoop生态系统中的位置Hbase架构设计及各个角色的作用:Client：包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。Zookeeper：1 保证任何时候，集群中只有一个master2 存贮所有Region Server的寻址入口。3 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给MasterMaster1 为Region server分配region2 负责region server的负载均衡3 发现失效的region server并重新分配其上的region4 HDFS上的垃圾文件回收5 处理schema更新请求Region Server1 Region server维护Master分配给它的region，处理对这些region的IO请求2 Region server负责切分在运行过程中变得过大的region可以看到，client访问hbase上数据的过程并不需要master参与（寻址访问zookeeper和region server，数据读写访问region server），master仅仅维护者table和region的元数据信息，负载很低。Hbase的关键流程Region的定位：bigtable 使用三层类似B+树的结构来保存region位置。第一层是保存zookeeper里面的文件，它持有root region的位置。第二层root region是.META.表的第一个region其中保存了.META.z表其它region的位置。通过root region，我们就可以访问.META.表的数据。.META.是第三层，它是一个特殊的表，保存了hbase中所有数据表的region 位置信息。客户端会将查询过的HRegion的位置信息做缓存，如果客户端没有缓存一个HRegion的位置，或者位置信息是不正确的，客户端会重新获取位置信息。如果客户端的缓存全部失效，则需要进行6次网络访问才能定位到正确的位置。Region的分配：任何时刻，一个region只能分配给一个region server。master跟踪当前有哪些可用的region server。以及当前哪些region分配给了哪些region server，哪些region还没有分配。当存在未分配的region，并且有一个region server上有可用空间时，master就给这个region server发送一个装载请求，把region分配给这个region server。region server得到请求后，就开始对此re