基于Heritrix网络爬虫算法的研究与应用.pdfVIP

中国科技论文在线 基于 Heritrix 网络爬虫算法的研究与应用 范先爽，刘东飞* （武汉理工大学计算机科学与技术学院，武汉 430070 ） 摘要：本文首先对搜索引擎中的网络爬虫进行了介绍，详细分析了开源网络爬虫Heritrix 的 系统结构。在此基础上，提出了设计特定的解析器，解析特定网站网页实现定制抓取的目的。 然后通过消除robots.txt 文件对个别处理器的影响，以及引入ELFHash 算法实现了高效、多 线程抓取Web 资源的目的。最后通过对改进前后的爬虫抓取网页的速度对比，以及在同等 时间的情况下抓取网页个数分析，验证了改进后的爬虫性能有了较明显的提高。 关键词： 计算机应用；网络爬虫；Heritrix；ELFHash 算法 中图分类号：TP31 Study And Application Of Web Crawler Algorithm Based On Heritrix FAN Xianshuang, LIU Dongfei (School of Computer Science and Technology,Wuhan University of Technology,Wuhan 430070) Abstract: In this paper,the web crawler in search engine was firstly introduced,based on the detailed analysis of the system architecture about open source web crawler Heritrix,Proposed design of a particular parser,parsed the particular web site to achieve the purpose of particular crawl.Then by eliminating the impact on individual processors caused by robots.txt file,and introduced the ELFHash algorithm implements the purpose of efficient, multi-thread access to the web crawler resources.Finally,by the comparison of the speed of crawl web page between before-improved and after-improved,and the analysis of the number of crawled pages in the same long time,verify the performance of the after-improved web crawler has been more obvious increased. Key words: computer application; web crawler; Heritrix; ELFHash algorithm 0 引言 互联网是一个宝库，搜索引擎是打开宝库的一把钥匙。使用搜索引擎，使我们检索信息 的能力获得了空前的提高，成本有效地降低，可以说，搜索引擎是现代的计算机技术、因特 网技术与传统的索引理论相结合的成功典范。随着网络覆盖范围的不断扩大，Web 信息爆 炸性的增长，互联网已经成为一个巨大的海量信息空间。搜索引擎为人们在具有海量信息的