一个增量搜集中国Web的系统模型及其实现-SearchEngineandWeb.PDFVIP

ISSN 1000-0054 清华大学学报 (自然科学版)2005年第45卷第S1期 33/39 CN 11-2223/N JTsinghuaUniv(Sci$cTech)，2005，Vol.45,No.S1 1882-1886 一个增量搜集中国Web的系统模型及其实现 孟 涛， 1月宏飞， 王继民 (北京大学计算机科学技术系，北京100871) 摘 要:针对中国Web的高效增量搜集，设计试验考察了 谓增量搜集，是指搜集目标是新出现的网页、变化的 网页的短期变化规律，估算出增量搜集需要的最小搜集能 网页和将消失的网页，它能避免因重复搜集未变化的 力。提出一个通用的增量式搜集系统模型和它的性能准则， 旧网页而带来网络和存储等资源上的浪费。 该模型阐明了增量搜集的运行原理。针对该模型，结合北大 由北京大学网络实验室开发的天网WWW搜 天网增量搜集系统的开发经验，讨论了它的性能瓶颈并给出 索引擎和以此为基础的Web网页信息博物馆[Ctl，旨 解决方案。对增量搜集的两类目标— 变化网页和新网页， 在搜集中国Web上的所有信息并提供历史存档和 探讨了相应的搜集策略。介绍了该模型的实现和性能状况。 索引服务。本文主要研究针对天网增量式搜集系统 该文的工作为增量搜集系统的设计和实现提供了一个成功 的搜集策略和系统实现，它是上述两个系统的网页 的模型。 关键词:增量式;网页搜集;系统模型;中国Web;实现 来源。 策略 1 相关研究 中图分类号:TP391 文献标识码:A 网页搜集系统从种子网页出发，反复下载网页 文章编号:1000-0054(2005)S1-1882-05 并从文档中寻找未曾见过的uniformresource locators(URL)，从而到达其他网页得以遍历Web. Systemmodelofincrementalspider 文 2「〕的GoogleCrawler和文[3〕的Mercator都是 fortheChineseweband 基于这种原理的系统实现。可以用这种系统反复大 itsimplementation 规模遍历Web获得新信息，与之对应的是也可根据 MENGTao,YANHongfei,WANGJimin 网页的变化轨迹持续准确搜集，后者除了更节省资 (DepartmentofComputerScienceandTechnology, 源外，所维护网页的平均时鲜性也较高[’]。因此，维 PekingUniversity,Beijing100871,China) 护网页的变化轨迹并预测变化时间，提供待检查的 Abstract;Thispaperisaimedatefficientincrementalinformation URL列表，是持续型增量搜集系统(以下简称增量 collectionfrom theChineseweb.Theexperimentswerefirst 系统)的主要特征。 designedandperformedtoinspecthowpageswereevolvedinashort 关于增量搜集，文[5〕考察了网页的变化规律并 period.Basedontheresults,ageneralsystem modelwas establi