Bitmap 性能和原理研究.docxVIP

Bitmap - 功能和原理争辩 从最原始的Bitmap到RoaringBitmap（可能是目前大多数场景的最佳选择？），虽然认真争辩Roaring的原理并不简单，但也是经过了十几年的变化和迭代。 WAH(Word Aligned Hybrid) 这个算法只压缩全0或者全1的group。将全部bits依据连续的31bit进行分组，然后对每一组进行编码，编码后的长度为32bit。具体结构如下图所示： EWAH(Enhanced Word Aligned Hybrid) 基于WAH加了一个Header，作为元信息的存储。我理解这其实并没有在存储上做到太多挂念的优化，反而是在查询或者插入中，会愈加便捷。Header结构如下所示。 CONCISE(Compressed N Composble Integer Set) 这也是基于WAH做的一个优化。在WAH算法中，只需有一个bit被置1，那么整个group都无法被压缩，这一算法在这种odd bit上做了优化。记录了这个单一odd bit的位置。 VALWAH(Variable-Aligned Length WAH) 基于参数的优化，缓解了WAH的每个group固定32bit的限制（由于32bit最多能表示2^31 - 1个压缩group，但是实际上不会那么多）。接受了参数去调控，没有固定的规章，对于不同的bitmap自动接受不同的参数，很影响查询的效率。 Roaring 以65535bit分bucket，每个bucket里的integer共享高16bit（为bucket的编号），例如第一个bucket为[0 ~ 65535]，高16bit为0，其次个bucket为[65536 ~ 65536*2 - 1]，高16bit为1。其中，65536中以short integer(16bit)为单位表示integer的低16bit。所以当这个bucket中integer 个数 4096时，不存在压缩。 RoaringBitmap源码解读 RoaringBitmap的基本构成如下:HighLowContainer中存储了每个Integer的高16bit的公共索引keys以及具体存储数字的Container。由于Container是最终的载体，所以优化基本都在Container里。下面直接分析源码中的Add方法，通过这个方法基本上可以看出Container的内部结构。 先看一个代码里比较常消灭的binarySearch方法，这里比较机警的一点是，假如找到则前往对应的index，假如没找到则前往对应位置的负数，这样既可以传递位相信息，又可以传递能否存在的信息。 protected static int hybridUnsignedBinarySearch(final short[] array, final int begin, final int end, final short k) { int ikey = toIntUnsigned(k); // next line accelerates the possibly common case where the value would // be inserted at the end if ((end 0) (toIntUnsigned(array[end - 1]) ikey)) { return -end - 1; } int low = begin; int high = end - 1; // 32 in the next line matches the size of a cache line while (low + 32 = high) { final int middleIndex = (low + high) 1; final int middleValue = toIntUnsigned(array[middleIndex]); if (middleValue ikey) { low = middleIndex + 1; } else if (middleValue ikey) { high = middleIndex - 1; } else { return middleIndex; } } // we finish the job with a sequential search int x = low; for (; x = high; ++x) {