大数据套件之HBase性能测试.docxVIP

大数据套件之 HBase 性能测试 By：andrewcheng 前言 2.7-2.19 期间，对大数据套件中的 HBase 组件进行了性能测试，本文总结了在测试步骤及其优化思路。 一、 Write 通过 10个客户端节点向由 20个 RS节点的 HBase 集群中，写入 20亿条数据，单条记录有 10个字段，单字段的大小为 100Byte 1、建表语句 n_splits =  299 create  usertable  ,{NAME =  0 },{DURABILITY =  SKIP_WAL  , COMPACTION_EN ABLED =  false  ,MAX_FILESIZE =  536870912000  ,SPLIT_POLICY =  org.apac he.hadoop.hbase.regionserver.DisabledRegionSplitPolicy  },{SPLITS = (  1..n _splits).map {|i|  user#{1000+i*(9999-1000)/n_splits}  }} 优化思路： a. COMPACTION_ENABLED ： 关闭 hbase 的compact 操作，避免因 compact 操作影响性能 b. SKIP_WAL ：不写 WAL，提高写入性能 c. 不用任何压缩算法