并行网页抓取系统设计.pdf

中文摘要 搜索引擎的出现为用户及其需要的信息之间建立了一座桥梁。不过，随着网 页数量的快速增长，搜索引擎已经无法搜索互联网的所有网页，对下载的网页进 行及时更新也成了问题。如何在有限的资源下搜索最有价值的网页，以及如何对 网页进行最有效的更新，已经成为现代搜索引擎的重要研究方向． 本文对搜索引擎的发展历史及现代搜索引擎的功能结构进行了介绍，并讨论 了搜索引擎技术中网页爬行和更新存在的问题，在分析了现有实现技术优劣势的 基础上设计了具有高度系统灵活性和扩展性的并行网页抓取系统，实现了网页的 并行快速抓取。 为了保证优先抓取高质量的网页，系统设计了基于网页链接重要性和路径重 要性的启发式搜索算法，首先根据上述两个重要性计算网页的综合权重，然后根 据网页的综合权重大小调整对网页的爬行顺序。爬行器在启发式搜索策略的指导 下优先爬行那些比较重要的网页，提高了抓取网页的质量。为了实现网页库的高 效更新，系统设计了基于贝叶斯的网页库更新算法，通过估算网页变化频率类别 实现网页库中网页的分类更新，提高了更新效率和网页库的新鲜度。 关键词：搜索引擎；网页采集；并行系统；启发式搜索；增量爬行；更新策略 分类号：耵．391 北瘟銮适太堂亟±堂焦论塞 △垦墨!B△￡! Theadvcm cstaMishcda bct、v∞nuse璃柚dinfo加ation of∞arch锄g．mc bridgc w如t．Butwithlhcf舔t ofwc_b a化notablet0 thcy incrc鹤ing pag髂，∞砌eng．mes c糟w1thesc thc ofthc thathaVcbecndownloaded pag％completcly．EVcnupdate pages is a tocrawl thcmmOfe bccomingbigpmblcm．HowmO豫import卸tpages如dupdatc und盯limitcdrcsourc鲻kIvcbeen如lcII∞dintlIe北鞠archofmodemsearch e笱idently engiIlcs． 11lis the architectufcof introduccs modem∞鲫ch papcr history柚d cngiIl鹤， disc邺seStlle exist诅tlle systcm卸d pmblcms c麒wIilIg upda恤Ig of add耵css璐ancw 柚alysistcchnologics卸dstrategi龉cIlr咒ntlyused，thispapcr dcsi弘 ofa with this parallelcr踟lingsystcmhighncxibiljty如dextc璐miIity．withdesign，thc ofthc isadVan∞正 甜硒e∞y systcm Thc jll仃0duc璐aheurisdc systcm mwlings妇lcgykIscd∞pagc姗k柚dpath mnk．ne tlleir tllatw髂dccidcd orde巧ofwcb a∞rtcd Visitjng pagcs by imp删彻cc t、Ⅳo