布隆过滤器.pptVIP

网站采集去重-布隆过滤器 一、布隆过滤器-基本概念 布隆过滤器：布隆过滤器 (Bloom Filter)是一种概率型数据结构，用于判断一个元素是否在集合中。 应用及特点: 垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插入元素，但不可以删除已有元素。 二、布隆过滤器-原理 如下图，使用三个哈希函数对每个元素进行映射，这样每个元素对应HashTable中的三个位置，如果查找w是否在HashTable中则仍旧利用三个哈希函数对其进行映射，当且仅当三个哈希函数映射的位置的标记都为1的时候，才表明w存在于集合中； 二、布隆过滤器-原理 但是由于HashTable中的每一个位由所有映射元素共享，w的三个映射位置可能分别被其他元素标记，所以此方法存在一定误判的概率。 三、布隆过滤器-采集中的应用 判断URL地址是否已经抓取过还可以借助于布隆过滤器(Bloom Filter)。布隆过滤器的实现方法是：利用内存中的一个长度是m的位数组B，对其中所有位都置0，如下图 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 三、布隆过滤器-采集中的应用 然后对每个遍历过的URL根据k个不同的散列函数执行散列，每次散列的结果都是不大于m的一个整数a。根据散列得到的数在位数组B对应的位上置1，也就是让B[a]=1。下图显示了放入3个URL后位数组B的状态，这里k=3。 0 1 0 0 1 0 1 0 0 1 1 1 0 1 1 0 URL1 URL2 URL3 四、布隆过滤器-优缺点 1、优点 相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数（O(k)）。另外, 散列函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。布隆过滤器可以表示全集，其它任何数据结构都不能；k和m相同，使用同一组散列函数的两个布隆过滤器的交并差运算可以使用位操作进行。? 四、布隆过滤器-优缺点 2、缺点 但是布隆过滤器的缺点和优点一样明显。误算率是其中之一。随着存入的元素数量增加，误算率随之增加。但是如果元素数量太少，则使用散列表足矣。 另外，一般情况下不能从布隆过滤器中删除元素. 我们很容易想到把位数组变成整数数组，每插入一个元素相应的计数器加1, 这样删除元素时将计数器减掉就可以了。 四、布隆过滤器-优缺点 2、缺点 然而要保证安全地删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。在降低误算率方面，有不少工作，使得出现了很多布隆过滤器的变种。 五、布隆过滤器-布隆过滤器误判率 爬虫来说，使用布隆过滤器的后果是可能导致漏抓网页。如果想知道需要使用多少位才能降低错误概率，可以从下表的存储项目和位数比率估计布隆过滤器的误判率。 比率(items:bits) 误判率 1:1 0.63212055882856 1:2 0.39957640089373 1:4 0.14689159766038 1:8 0.02157714146322 1:16 0.00046557303372 1:32 0.00000021167340 1:64 0.00000000000004 五、布隆过滤器-布隆过滤器误判率 为每个URL分配两个字节就可以达到千分之几的冲突。例如一个比较保守的实现，为每个URL分配了4个字节，项目和位数比是1:32，误判率是0.00000021167340。对于5000万数量级的URL，布隆过滤器只占用了200M的空间，并且排重速度超快，一遍下来不到两分钟。 六、布隆过滤器-java应用源码 / /创建一个100位的布隆过滤器，优化成包含4个项目 BloomFilterString urlSeen = new BloomFilterString(100, 4); // 增加内容到布隆过滤器 urlSeen.add(); urlSeen.add(); urlSeen.add(); urlSeen.add(); // 测试布隆过滤器是否记得这个项目 if (urlSeen.contains( )) { System.out.println(已经存在的概率 “+ (1 - urlSeen.expectedFalsePositiveProbability())); } else