HBase中Scan类属性maxResultSize的说明.docxVIP

有同学希望调用Scan.setMaxResultSize(long)这个方法来设置scan扫描后返回的条数，目前我的理解，这个属性能到一定的限制作用，但是很多时候不会向你想的那样其作用，下面我来进行一些说明。如果你看过HRegionServer的启动过程，你会发现他也有一个类似的属性maxScannerResultSize（配置文件中通过hbase.client.scanner.max.result.size设置），其实这个值就是Scan做扫描时候maxResultSize的默认值，那这个maxResultSize到底有什么用，我们看下面的源码（摘自hbase0.98.9 HRegionServer的scan方法）：???12345678910111213141516171819202122232425262728LOG.info(*******4444************maxResultSize:+maxResultSize + ;rows:+rows);?synchronized(scanner) {?while (i rows) {?// Stop collecting results if maxScannerResultSize is set and we have exceeded it?if ((maxScannerResultSize Long.MAX_VALUE) ?(currentScanResultSize = maxResultSize)) {???LOG.info(*************kreak i :+i);?break;?}?// Collect values to be returned here?boolean moreRows = scanner.nextRaw(values);?if (!values.isEmpty()) {?for (Cell cell : values) {?KeyValue kv = KeyValueUtil.ensureKeyValue(cell);?LOG.info(*************kv :+kv +;kv.heapSize():+kv.heapSize());?LOG.info(*************currentScanResultSize :+currentScanResultSize);?currentScaspan/spannResultSize += kv.heapSize(); span/span totalKvSizspan/spanspan/spane += kv.getLength();?}?results.add(Result.create(values));?i++;?}?if (!moreRows) {?break;?}?values.clear();?}?}大家会看到一些调试代码，也莫见怪了。大家看“if((maxScannerResultSize Long.MAX_VALUE) (currentScanResultSize = maxResultSize))” 这个条件判断语句，很重要的一个判断是currentScanResultSize = maxResultSize，而这里的currentScanResultSize，其实是每行所有KeyValue的bytes的统计数，意思是当在Scan对象中设置了maxResultSize后（没设置的话，默认值为HRegionServer的maxScannerResultSize），在HRegionServer中扫描数据的时候，会对所查数据的bytes统计和与这个值做比较，这样的结果是如果maxResultSize比较小，那么本来需要10条数据一次能够查询到的，需要分成多次查询，其maxResultSize的值，并不会影响查询的结果，只会影响scan发起远程调用的次数，这里可能说得有点抽象，我举个例子说明：在我的HBase数据库中存在记录：row-10，row-11,...,row-19,row-20,row-21,...,row-29,...,row-91,row-92,...,row-99分别用两种下面三种方式查询，都能得到一样的结果：?123456789101112keyvalues={row-10/colfam1:col-5/1423054405356/Put/vlen=8/mvcc=0, row-10/colfam2:col-33/1423054405467/Put/vlen=9/mvcc=0}keyvalues={row-100/colfam1:col-5/1423054437916/Put/vlen=9/mvcc=0, row-100/colfa