网络爬虫的优化策略探略.pdfVIP

2011年 l0月 现 代 情 报 Oct．，201I 第 31卷第 10期 JournalofModem Information Vo1．31 No．10 · 理 论 探 索 · 网络爬虫的优化策略探略 李志义 (华南师范大学经济与管理学院，广东 广州 510631) [摘 要]网络爬虫对网页的抓取与优化策略直接影响到网页采集的广度、深度，以及网页预处理的数量和搜索引擎的质 量。搜索引擎的设计应在充分考虑网页遍历策略的同时，还应加强对网络爬虫优化策略的研究。本文从主题、优先采集、不重 复采集、网页重访、分布式抓取等方面提出了网络爬虫的五大优化策略，对网络爬虫的设计有一定的指导和启迪作用。 [关键词】网络爬虫；优化策略；搜索引擎 DO1．10．3969／i．issn．10O8—0821．2O… O．007 (中图分类号]TP391 [文献标识码]A [文章编号]1008一O821(2011)10—0031—05 DiscussionontheOptimizationStrategyofW ebCrawlers LiZhiy~ (SchoolofEconomicandManagement，SouthChinaNormalUniversity，Guangzhou510631，China) [Abs ct]WebcFaW]el~forc0HecdIlgwebpagesanditsoptimizationstrategiesaffecteddirectlyOnthebreadth，depthof Webcrawling，andalsoOilweb—pagepreproeessingandthesearchenginequ~ty．Searchengineshouldbedesignedtakingflail accountofwebtraversalstrategyandthewebcFawleloptimizationstrategy．Inthispaper，thethemecollectionstrategy，pdonty acquisitionstrategy，nottorepeattheacquisitionstrategy，websitere—visitstrategies，distributedcapturestrategyforthefive Il诅j0roptmaizatlonstrategiesarepropo~1．Thesestudiesshouldbetheguidanceandinspirationtodesignofnetworkcrawlers． 【Keywords3webcrawler；optimizationstrategy；searchen咖e 网络爬虫的实质是一种用于从互联网上下载Web信息 以亿为单位来测算 ，如此众多的网页文件 自然涉及到网络 的计算机程序，它以Web页之间的相互链接为路径，依照 爬虫遍历策略的问题。也就是说 ，通过何种方式或策略才 一 定的遍历策略试图爬行互联网中的每个链接，从中抓取 能使网络爬虫尽可能地遍历所有 Web页，从而尽可能地扩 必要的信息，并将其转存到本地存储设备上 ，以便进行信 大Web信息的抓取覆盖面，这一直是搜索引擎研究的重 息的预处理。 点。从 目前来看，通用网络爬虫主要采纳了3种基本策略 网络爬虫的特点非常突出，主要表现为： (1)程序的 — — 广度优先策略和深度优先策略和最佳优先搜索策略 2【J， 强壮性非常高 ，且具备超强的执行力；(2) 自动性和智能 这些遍历算法虽然人们早已熟知 ，却非常适合于网络爬虫 性强，体现