Web 信息采集中哈希函数比较.docVIP

Web信息采集中的哈希函数比较 吴丽辉1,2, 白硕1, 张刚1,2 , 张凯1 中国科学院计算技术研究所软件研究室，北京 100080；2.中国科学院研究生院，北京 100039) Email: wulh@ Phn: 010717 摘 要: 在Web信息采集的过程中,需要判断待采页面是否在已采页面集合中.为了实现快速采集,采用哈希函数来实现.基于一个含有2000多万个URL的序列,通过大规模的实验性评测,比较了函数Tianlhash、ELFhash、HfIp、hf和Strhash的一阶和二阶哈希冲突率.实验结果表明,Strhash和Tianlhash的性能较佳,值得推荐.并且,ELFhash的测试性能要优于HfIp和hf.采用二阶哈希后的天罗Web信息采集系统,占用几兆的内存空间,大大提高了采集速度,并降低了数据库的负荷. 关键词: Web信息采集; 哈希函数; URL 中图法分类号: TP314　　　文献标识码: A Hashing Comparison in Web Crawling Wu Lihui1,2, Bai Shuo1, Zhang Gang1,2+ , Zhang Kai (1.Software Division, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080) (2.Graduate School of the Chinese Academy of Sciences, Beijing 100039) Abstract: During the course of Web crawling, it is needed to judge if the coming URLs are in the collection of crawled pages. In order to achieve fast crawling, hashing is adopted. Through a large scale experiment, five hash functions are compared in this paper. The finding is that Strhash and Tianlhash functions are better and thus recommended. And, ELFhash function is better than HfIp and hf. The crawling speed is fast advanced after using second-hash in Tianluo Web crawling system, and the database load is depressed. Key words: Web crawling; hashing; URL 引言 Internet尤其是WWW的飞速发展,给人们带来了前所未有的信息共享与交流.网络已发展成为我们经济、社会、文化、教育以及娱乐等几乎各个方面的重要组成部分.到2004年11月,Google搜索引擎索引的网页数已经超过80亿[1].随着互联网的迅速发展,各项基于Web的服务也日益繁荣起来.作为这些信息服务的基础和重要组成部分,基于Web的信息采集正应用于搜索引擎、站点结构分析、页面有效性分析、Web图进化、用户兴趣挖掘以及个性化信息获取等多种应用和研究中. Web信息采集[2],主要是指通过Web页面之间的链接关系,从Web上自动获取页面信息,并且随着链接不断向所需要的Web页面扩展的过程.粗略的说,它主要是指这样一个程序,从一个初始的URL集出发,将这些URL全部放入到一个有序的待采集队列里.而采集器从这个队列里按顺序取出URL,通过Web协议,获取URL所指向的页面,然后从这些已获取的页面中提取出新的URL,并将他们继续放入到待采队列里,然后重复上面的过程,直到采集器根据自己的策略停止采集. 在Web信息采集的过程中,为了实现快速采集,需要记住已经采集过的页面（记做集合visited-urls）.采集中凡遇到一个页面,需要用它和visited-urls对比,判断该页面的URL是否已在visited-urls中.若在其中,则表示该网页已采集；否则将它放入visited-urls,继续沿其含有的URL向下采集.显然,将visited-urls组织成一个哈希表是很自然的,哈希的对象是用于访问网页的URL,即形如“”之类的字符串[3].为了设计高效的URL哈希算法,测试不同的哈希函数对相同的URL列表的冲突率. 实验的设计和执行 实验评价标准 为了