大资深研发工程师day15-基于hadoop分布式nosql数据库hbase02过滤器.pdfVIP

1.基本概念

布隆过滤器（BloomFilter）是1970年由布隆。它实际上是一个很长的二进制向量和一系列随机

映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远

映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远

远超过一般的算法，缺点是有一定的误识别率和删除。

爬虫它要判断。哪些网页是被爬过来了的。

如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。

如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。

链表，树等等数据结构都是这种思路.但是随着集合中元素的增们需要的空间越来越大，检

但是随着集合中元素的增们需要的空间越来越大，检

索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表（又叫哈希表，Hashtable）的数据

。不过世界上还有一种叫作散列表（又叫哈希表，Hashtable）的数据

结构（有一个动态数组，+一个hash函数）。它可以通过一个Hash函数将一个元素映射成一个位阵列

函数）。它可以通过一个Hash函数将一个元素映射成一个位阵列

（Bitarray）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了。这

）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了。这

就是布隆过滤器的基本思想。

Hash的问题就是。假设Hash函数是良好的，如果我们的位阵列长度为m个点，那么如果我们

函数是良好的，如果我们的位阵列长度为m个点，那么如果我们

想将率降低到例如1%,这个散列表就只能容纳m/100个元素。显然这就不叫空间效率了（Space-

这个散列表就只能容纳m/100个元素。显然这就不叫空间效率了（Space-

efficient）了。解决方法也简单，就是使用多个Hash，如果它们有一个说元素不在集合中，那肯定就不

）了。解决方法也简单，就是使用多个Hash，如果它们有一个说元素不在集合中，那肯定就不

在。如果它们都说在，虽然也有一定可能性它们在说谎，不过上判断这种事情的概率是比较低的。

在。如果它们都说在，虽然也有一定可能性它们在说谎，不过上判断这种事情的概率是比较低的。

BloomFilter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一

是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一

个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集

个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集

合时，有可能会把不属于这个集合的元素误认为属于这个集合（falsepositive）。因此，BloomFilter

合时，有可能会把不属于这个集合的元素误认为属于这个集合（falsepositive）。因此，BloomFilter

不适合那些“零错误”的应用场合。而在能低错误率的应用场合下，BloomFilter通过极少的错误换

零错误”的应用场合。而在能低错误率的应用场合下，BloomFilter通过极少的错误换

取了空间的极大节省

取了空间的极大节省

总结起来说：bloomfilter，布隆过滤器：迅速判断一个元素是不是在一个庞大的集合内，但是他有一个

总结起来说：bloomfilter，布隆过滤器：迅速判断一个元素是不是在一个庞大的集合内，但是他有一个

弱点：它有一定的误判率

弱点：它有一定的误判率

误判率：原本不存在于该集合的元素，布隆过滤器有可能会判断说它存在，但是，如果布隆过滤器判断

误判率：原本不存在于该集