HBASE性能优化方法总结.pdfVIP

HBASE性能优化方法总结 本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase 系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 1. 表的设计 1. 表的设计 11.. 表表的的设设计计 1.1 Pre-Creating Regions 1.1 Pre-Creating Regions 11..11 PPrree--CCrreeaattiinngg RReeggiioonnss 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所 有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种 可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时， 会按照region分区情况，在集群内做数据的负载均衡。 有关预分区，详情参见：Table Creation: Pre-Creating Regions，下面是一个例子： public static boolean createTable(HBaseAdmin admin, HTableDescriptor table,byte[][] splits) throwsIOException{ try{ admin.createTable(table,splits); returntrue; }catch(TableExistsExceptione){ (table+ table.getNameAsString()+alreadyexists); //thetablealreadyexists returnfalse; } } publicstatic byte[][]getHexSplits(StringstartKey,StringendKey,intnumRegions){ byte[][]splits=newbyte[numRegions-1][]; BigIntegerlowestKey=newBigInteger(startKey,16); BigIntegerhighestKey=newBigInteger(endKey,16); BigIntegerrange=highestKey.subtract(lowestKey); BigIntegerregionIncrement=range.divide(BigInteger.valueOf(numRegions)); lowestKey=lowestKey.add(regionIncrement); for(inti=0; inumRegions-1;i++) { BigIntegerkey=lowestKey.add(regionIncrement.multiply(BigInteger.valueOf(i))); byte[]b= String.format(%016x, key).getBytes(); splits[i]=b; } returnsplits; } 1.2 Row Key 1.2 Row Key 11..22 RRooww KKeeyy HBase中row key用来检索表中的记录，支持以下三种方式： 通过单个row key访问：即按照某个row key键值进行get操作； 通过rowkey的range进行scan：即通过设置startRowKey和endRowKey，在这个范围内进 行扫描； 全表扫描：即直接扫描整张表中所有行记录。 在HBase中，rowkey可以是任意字符串，最大长度64KB，实际应用中一般为10~100bytes， 存为byte[]字节数组，一般设计成定长的。 row key是按照字典序存储，因此，设计row key时，要充分利用这个排序特点，将经常一 起读取的数据存储到一块，将最近可能会被访问的数据放在一块。 举个例子：如果最近写入HBase表中的数据是最可能被访问的，可以考虑将时间戳作为row key的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE – timestamp作为row key，这样能保证新写入的数据在读取时可以被快速命中。 1.3 Column Family 1.3 Column Family