HBase性能优化方法复习总结.docx

HBase性能优化方法总结本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。有关预分区，详情参见：Table Creation: Pre-Creating Regions，下面是一个例子：[html]?view plain?copypublic?static?boolean?createTable(HBaseAdmin?admin,?HTableDescriptor?table,?byte[][]?splits)??throws?IOException?{???try?{???admin.createTable(table,?splits);???return?true;???}?catch?(TableExistsException?e)?{???(table??+?table.getNameAsString()?+??already?exists);???//?the?table?already?exists...???return?false;???}??}???public?static?byte[][]?getHexSplits(String?startKey,?String?endKey,?int?numRegions)?{???byte[][]?splits?=?new?byte[numRegions-1][];???BigInteger?lowestKey?=?new?BigInteger(startKey,?16);???BigInteger?highestKey?=?new?BigInteger(endKey,?16);???BigInteger?range?=?highestKey.subtract(lowestKey);???BigInteger?regionIncrement?=?range.divide(BigInteger.valueOf(numRegions));???lowestKey?=?lowestKey.add(regionIncrement);???for(int?i=0;?i??numRegions-1;i++)?{???BigInteger?key?=?lowestKey.add(regionIncrement.multiply(BigInteger.valueOf(i)));???byte[]?b?=?String.format(%016x,?key).getBytes();???splits[i]?=?b;???}???return?splits;??}??1.2 Row KeyHBase中row key用来检索表中的记录，支持以下三种方式：通过单个row key访问：即按照某个row key键值进行get操作；通过row key的range进行scan：即通过设置startRowKey和endRowKey，在这个范围内进行扫描；全表扫描：即直接扫描整张表中所有行记录。在HBase中，row key可以是任意字符串，最大长度64KB，实际应用中一般为10~100bytes，存为byte[]字节数组，一般设计成定长的。row key是按照字典序存储，因此，设计row key时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。举个例子：如果最近写入HBase表中的数据是最可能被访问的，可以考虑将时间戳作为row key的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE – timestamp作为row key，这样能保证新写入的数据在读取时可以被快速命中。1.3 Column Family不要在一张表里定义太多的column family。目前Hbase并不能很好的处理超过2~3个column family的表。因为某个column family在flush的时候，它邻近的column family也会因关联效应被触发flush，最终导致系统产生更多的I/O。感兴趣的同学可以对自己的HBase集群进行实际测试，从得到的测试结果数据验证一下。1.4 In Memory创建表的时候，可以通过HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中，保证在读取的时候被