Bloom Fiter学习心得.pdfVIP

1 / 36 目录 Bloom Filter 学习心得2 ——by Jetway from hdu_cloud2 一、 传统 hash 存储2 1.1、传统 hash 存储2 1.2、改进的 hash 存储3 二、 Bloom Filter 的概念和原理3 2.1、 Standard Bloom Filter 的原理3 2.2、False Positive 概率估计5 2.3、hash 函数的最优个数5 2.4、一定错误率下的位数组大小6 三、 Bloom Filter 应用技巧7 四、 各种 Bloom Filter 的变种9 4.1 、Generalized Bloom Filters 9 4.2 、Partial Bloom Filters 9 4.3 、Counting Bloom Filters 10 4.4 、Sprectral Bloom Filters 12 4.5 、Compressed Bloom Filters 19 4.6 、MultiLayer Compressed Counting Bloom Filters23 4.7 、D-left Counting Bloom Filters 23 4.8 、Dynamic Counting Bloom Filters 33 4.9 、Distance-Sensitive Bloom Filters 35 4.10 、Scalable Bloom Filters 35 4.11 、Parameterized Bloom Filters 36 五、 各种实际应用36 六、 参考文献36 感谢网络 hdu_cloud [键入文字] Bloom Filter 学习心得 ——by Jetway from hdu_cloud 一、传统 hash 存储 1.1、传统 hash 存储 假设要哈希的集合为 S，它有 n 个元素。传统的哈希方法是，将 哈希区域组织成 h （h n）个格子的列表，每一个格子都能存储 S 中的一个元素。存储时将S 中的每一个元素映射到{0, 1, … , h-1} 的范围内，然后以这个值为索引将此元素存储到对应的格子内。由于 哈希函数将一个大集合映射到一个小集合中，所以存在将大集合中的 多个元素映射到同一位置的情况，这就是所谓的碰撞（Collision）。 当碰撞发生时，有多种策略可供选择，比如用链表将映射到同一位置 的元素串起来，或者在碰撞发生时再进行哈希映射直到找到空位为止 等等。 传统的哈希方法不会发生错误，而且存储的元素还可以复原。如 果哈希函数选择得当，碰撞出现的情况比较少，那么查找某一个元素 也很快。但是，如果你哈希某个集合只是为了判断某个元素是否在这 个集合中，那么你会发现好像存储整个集合有点浪费。按传统的哈希 方法判断某个元素是否属于集合时，会把这个元素和它映射位置上的 元素进行匹配，如果完全匹配则说明属于集合，如果不匹配则不属于。 在绝大部分查找都不能匹配的情况下（这常常是实际中的情况），我 感谢网络 hdu_cloud [键入文字] 们会发现匹配的过程经常用不到整个元素，因为元素的一部分就可以 判断不匹配了。基于“部分信息就能判断不匹配”这个思路，Burton Bloom （Bloom Filter 的发明者）提出了一