大数据研发工程师Day17：Hadoop分布式NoSQL数据库HBase布隆过滤器原理与应用.pdfVIP

布隆过滤器（BloomFilter）是1970年由布隆。它实际上是一个很长的二进制向量和一系列随机

映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远

远超过一般的算法，缺点是有一定的误识别率和删除。

爬虫它要判断。哪些网页是被爬过来了的。

如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。

链表，树等等数据结构都是这种思路.但是随着集合中元素的增加，我们需要的空间越来越大，检

索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表（又叫哈希表，Hashtable）的数据

结构（有一个动态数组，+一个hash函数）。它可以通过一个Hash函数将一个元素映射成一个位阵列

（Bitarray）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了。这

就是布隆过滤器的基本思想。

Hash的问题就是。假设Hash函数是良好的，如果我们的位阵列长度为m个点，那么如果我们

想将率降低到例如1%,这个散列表就只能容纳m/100个元素。显然这就不叫空间效率了（Space-

efficient）了。解决方法也简单，就是使用多个Hash，如果它们有一个说元素不在集合中，那肯定就不

在。如果它们都说在，虽然也有一定可能性它们在说谎，不过上判断这种事情的概率是比较低的。

BloomFilter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一

个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集

合时，有可能会把不属于这个集合的元素误认为属于这个集合（falsepositive）。因此，BloomFilter

不适合那些“零错误”的应用场合。而在能低错误率的应用场合下，BloomFilter通过极少的错误换

取了空间的极大节省

总结起来说：bloomfilter，布隆过滤器：迅速判断一个元素是不是在一个庞大的集合内，但是他有一个

弱点：它有一定的误判率

误判率：原本不存在于该集合的元素，布隆过滤器有可能会判断说它存在，但是，如果布隆过滤器判断

说某一个元素不存在该集合，那么该元素就一定不在该集合内

2.优缺点

2.1.优点

相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器空间和/

查询时间都是常数。另外,Hash函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要

元素本身，在某些对要求非常严格的场合有优势。

布隆过滤器可以表示全集，其它任何数据结构都不能；

k和m相同，使用同一组Hash函数的两个布隆过滤器的交并差运算可以使用位操作进行。

能快速的判断元素存在不存在

远远的缩小数据的规模

2.2.缺点

布隆过滤器（BloomFilter）是1970年由布隆。它实际上是一个很长的二进制向量和一系列随机

映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远

远超过一般的算法，缺点是有一定的误识别率和删除。

爬虫它要判断。哪些网页是被爬过来了的。

如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。

链表，树等等数