HBase寫入性能分析及改造.docVIP

HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试) 第一部分 最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。 在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？ 总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。 下面我仔细来分析下原因，并解决掉问题，详细的测试数据在/kalaamong/article/details/7290192，对数据感兴趣的同学可以直接跳过下面的内容。 大概全套问题都解决之后写入通量提高两到三倍。 在压测时HRegionServer的Handler很多情况下都被卡在reclaimMemStoreMemory() ps:这个方法在region数目过多时淘宝庄庄说过这个问题，会影响put速度。 因为他每次都会调这一段代码，当有几千上万个region时。。。。。每次put都检查自然有问题，不过这个相对于后面的事情是小问题了，先放这。 [java] view plaincopy public long getGlobalMemStoreSize() {