hbase存储.doc

Hbase存储详解 前言 Hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 一、特性 Hbase中的表一般有这样的特点： 　　1、大：一个表可以有上亿行，上百万列 　　2、面向列:面向列(族)的存储和权限控制，列(族)独立检索。 　　3、稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 　　下面一幅图是Hbase在Hadoop Ecosystem中的位置。 二、逻辑视图 1、存储结构 Hbase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family) 2、Row Key 　　与nosql数据库们一样,row key是用来检索记录的主键。访问Hbase table中的行，只有三种方式： 　　1、通过单个row key访问 　　2、通过row key的range 　　3、全表扫描 　　Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在Hbase内部，row key保存为字节数组。 　　存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性) 　　注意： 　　1、字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。 　　2、物理存储 下图： 四、系统、 5、Region 1、Region server的region上限 的region取决于memstore内存使用，region拥有memstore（memstore的数量有store决定，store的数据由创建表时的指定的列族个数决定，所以region的memstore的个数 = 表的的个数 ）通过配置来修改memstore内存的大小，一般在M – 256M之间。 一定比例的内存给它的所有memstore( 比例可通过hbase.regionserver.global.memstore.upperLimit 修改 ),了的pact风暴。比较好的gion的数量的公式 ((RS memory) * (total memstore fraction)) / ((memstore size)*(# column families)) 例如： 如果 一个regionServer配置的内存是16g,使用默认配置（ hbase默认regionserver分给memstore的比例是0.4 ， 默认的menstore的占用128M内存 ）， 一个CF，那么这个regionServer下的region的个数大约为 16384 * 0.4 / （128*1） = 51个，实际测试这个数没太大的问题。 2. region的大小pactions 的限制大量大File的compact会降低群集性能。目前，该建议的最大region大小为10-20GB，而5-10GB是最优 五、关键算法/流程 1、region定位 　　系统如何找到某个row key (或者某个 row key range)所在的region 　　bigtable 使用三层类似B+树的结构来保存region位置。 　　第一层是保存zookeeper里面的文件，它持有root region的位置。 　　第二层root region是.META.表的第一个region其中保存了.META.z表其它region的位置。通过root region，我们就可以访问.META.表的数据。 　　.META.是第三层，它是一个特殊的表，保存了Hbase中所有数据表的region 位置信息。 　　说明： 　　1、root region永远不会被split，保证了最需要三次跳转，就能定位到任意region 。 　　2、META.表每行保存一个region的位置信息，row key 采用表名+表的最后一样编码而成。 　　3、为了加快访问，.META.表的全部region都保存在内存中。 　　假设，.META.表的一行在内存中大约占用1KB。并且每个region限制为