一个增量搜集中国的Web的系统模型及实现.pdfVIP

清华大学学报(自然科学版)2005年第45卷第S1期 !墨墨丛!Q!!二Q!§垒 CN 11—2223／NJ Univ(Sci＆Tech)，2005，V01．45，No．S1 Tsinghua 一个增量搜集中国Web的系统模型及其实现 孟 涛， 闰宏飞， 王继民 (北京大学计算机科学技术系，北京100871) 摘 要：针对中国Web的高效增量搜集，设计试验考察了 谓增量搜集，是指搜集目标是新出现的网页、变化的 网页的短期变化规律，估算出增量搜集需要的最小搜集能 网页和将消失的网页，它能避免因重复搜集未变化的 力。提出一个通用的增量式搜集系统模型和它的性能准则， 旧网页而带来网络和存储等资源上的浪费。 该模型阐明了增量搜集的运行原理。针对该模型，结合北大 由北京大学网络实验室开发的天网WWW搜 天网增量搜集系统的开发经验，讨论了它的性能瓶颈并给出 索引擎和以此为基础的Web网页信息博物馆[1]，旨 解决方案。对增量搜集的两类目标——变化网页和新网页， 在搜集中国Web上的所有信息并提供历史存档和 探讨了相应的搜集策略。介绍了该模型的实现和性能状况。 索引服务。本文主要研究针对天网增量式搜集系统 该文的工作为增量搜集系统的设计和实现提供了一个成功 的模型。 的搜集策略和系统实现，它是上述两个系统的网页 来源。 关键词：增量式；网页搜集；系统模型；中国Web；实现 策略 1相关研究 391 中图分类号：TP 文献标识码：A 网页搜集系统从种子网页出发，反复下载网页 文章编号：1000—0054(2005)S1—1882—05 resource 并从文档中寻找未曾见过的uniform modelofincremental System spider 文[2]的Google fortheChineseweband 基于这种原理的系统实现。可以用这种系统反复大 its implementation 规模遍历Web获得新信息，与之对应的是也可根据 MENGTao，YAN Jimin 网页的变化轨迹持续准确搜集，后者除了更节省资 Hongfei，WANG of Scienceand 源外，所维护网页的平均时鲜性也较高[4]。因此，维 (DepartmentComputer Technology， PekingUniversity，Beijing100871，China) 护网页的变化轨迹并预测变化时间，提供待检查的 is aimedatefficientincrementalinformation Abstract：Thispaper URL列表，是持续型增量搜集系统(以下简称增量 collectionfromtheChineseweb．The werefirst experiments 系统)的主要特征。