Python爬虫实例教程19. 爬虫去重.pptxVIP

Python爬虫实例教程讲师：日月光华爬虫去重答疑群：945189407爬虫去重的分类一、基于URL的去重二、基于内容的去重爬虫去重的方案一、使用set数据结构去重（内存去重）二、使用Redis缓存数据库去重三、“位”去重，如布隆过滤爬虫去重的实现一、使用摘要算法把要去重的内容转换为一个固定的长度二、再对摘要进行去重什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。什么是摘要算法呢？摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。什么是摘要算法呢？摘要算法之所以能指出数据是否被篡改过，就是因为摘要函数是一个单向函数，计算f(data)很容易，但通过digest反推data却非常困难。而且，对原始数据做一个bit的修改，都会导致计算出的摘要完全不同。摘要算法的实现Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等摘要算法的实现MD5是最常见的摘要算法，速度很快，生成结果是固定的128 bit字节，通常用一个32位的16进制字符串表示。SHA1的结果是160 bit字节，通常用一个40位的16进制字符串表示。摘要算法的实现MD5是最常见的摘要算法，速度很快，生成结果是固定的128 bit字节，通常用