web网页并行爬行研究.pdfVIP

· 226· 计算机应用研究 2005正 Web网页并行爬行研究 严亚兰 ，查先进 (1．武汉大学信息管理学院，湖北 武汉430072；2．武汉大学 信息资源研究中心，湖北 武汉430072) 摘 要：首先分析Web环境对并行爬行的需求，然后对并行爬行带来的优势和面临的问题进行探讨，进一步对 并行爬行模式和策略展开深入研究。 关键词：并行爬行；模式；策略 中图法分类号：TP393．06 文献标识码：A 文章编号 ：1001-3695(2005)04-0226-03 StudyontheParallelCrawlingonWeb YANYa．1an，ZHAXian-jin (1．SchoolofInformationManagement，WuhanUniversity，WuhanHubei430072，China；2．ResearchCenterofInformatoinResources，Wuhan University，WuhanHubei430072，China) Abstract：AnalyzestheneedfortheparallelcrawlingontheWebanddiscussesitsadvna tagesnadproblems．Then，theessay reserachesintothemodesand therelativestrategiesoftheparallelcrawling． Keywords：PraallelCrawling；Mode；Strategy Web是一个 自组织的庞大的信息资源库，物理上处于不 满足各种应用的需求。 同地理位置的服务器上的资源通过网络形成了一个逻辑上的 整体，并通过网页之间的链接使得该资源体成为最大的非线性 1 并行爬行带来的优势和面临的问题 组织结构。任何一个用户通过浏览器可以非常方便地在不同 对并行爬行的需求至少体现在以下两个方面：①巨额的存 资源间进行链接，这极大地迎合了人类思维的发散性需求；另 量网页和网页数量的剧增趋势迫使Crawler必须在尽可能短的 外，Web为信息资源共享打造了一个全球范围的平台，使得各 时间内爬行更多的网页；②以数字形式存储在服务器上的网页 种基于网络的应用从梦想变为现实。随着网络用户和网络应 在大小和内容上很容易也经常发生变动，为了保证爬回的网页 用的增多，网页数量呈现出前所未有的急剧膨胀，这给网络爬 与实际存储在各个服务器上的网页的一致性 ，对网页的爬行不 虫 (Crawler)带来了新的挑战。 可能是一次性的，而需要Crawler定期或不定期地重新爬行同 Crawler可看成是一个模块，其中的每一个 Crawler就是一 样的网页以满足更新需求。庞大的网页数量和不断重新爬行 个能自动爬行Web网页以供生成本地索引和／或本地网页数 的需求使得Crawler很难基于串行爬行来高效率地完成爬行任 据集的程序。对于随机爬行来说，首先，Crawler从一个初始 务，这势必导致对并行爬行的需求。并行爬行是指多个爬行进 URLs集(称为种子 URLs)出发，从中获取一个 URL，下载网 程同时在地理