搜索引擎的信息覆盖率评测模型应用研究doc.docVIP

搜索引擎的信息覆盖率评测模型研究 孟涛 李晓明 闫宏飞 北京大学计算机科学技术系 ，100871 摘 要 本文从WWW有向图结构出发，总结分析了搜索引擎搜集子系统网页搜集不完全性的若干因素，指出信息覆盖率这一概念的研究意义，由此提出了三类比较重要的信息覆盖率概念。在对信息覆盖率建立量化研究模型之后，本文以北大天网WebInfomall平台为考察对象，以不同的方式对中国Web进行取样，用PageRank和HITS这两类典型的权值算法计算出其中的重要网页作为样本，从量和质的角度上考察webinfomall的信息覆盖率，得到合理的数量覆盖率和质量覆盖率实验数据，从而验证了WebInfomall信息覆盖率结论的合理性和信息覆盖率评测模型的可靠性。 关键词 搜索引擎，信息覆盖率，取样，权值计算，验证，数量覆盖率，质量覆盖率 研究背景 WWW（World Wide Web）自1989年诞生并于次年开始运行以来,在迄今为止的十多年里发展迅猛，已逐渐成为人类社会信息资源中的一个重要组成部分。它以超文本和超媒体为核心技术，将文本、图形、图像、音频和视频等信息有机结合起来，给人们以丰富的信息表示空间。随着Internet技术和应用的不断发展，社会的信息化进程不断加快，越来越多的社会信息资源开始选择Web作为其载体。 当前，WWW上大约有8,745,000个网站，约2,500,000,000网页，包含了至少19TB以上的数据，而且这些网页正以每天净增7,500,000的速度膨胀[1] [2] 。而在中国，根据中国互联网络中心（CNNIC）于2002年1月进行的互联网统计报告[3]，CN下注册的域名数为127,319个，共有277,100个Web站点。到2002年为止，中国境内的Web站点共有53,432,598个网页，主要分布在约49,146个网站中[4]。 面对浩瀚的互联网络资源，人们若不借助其他工具很难快速的查找到自己所需要的信息，这带来了搜索引擎的诞生。从1994年诞生的第一代搜索引擎Lycos和InfoSeek等开始，发展到当前流行的Google、Altavista等系统，它们已逐渐成为人们进行网际冲浪的重要工具之一。根据弗吉尼亚理工大学GVU中心的调查报告[5] ，全世界有84.8%的WWW用户通过搜索引擎获得自己所需网页，足见搜索引擎功用之一斑。 我们将每一条独立的WWW信息称为一个网页，它有一个唯一的资源定位地址称为URL(Uniform Resource Location)。搜索引擎便是利用URL之间的连接关系，搜集其对应的网页信息，建立索引，供用户查询。因此，搜索引擎搜集的网页集合便是用户所能得到查询结果的最大范围；这个范围越接近WWW，搜索引擎越优秀。事实上，没有任何一个搜索引擎能搜集完WWW的所有网页。著名的搜索引擎Google系统和WiseNut系统，搜集到并提供给用户查询的网页数量分别是2,073,418,204个[6]和1,571,413,207[7]个，最多不过静态网页总数的80%。而根据Greg R.Notes在200？年3月发表的搜索引擎统计数据[8]？？，这两个系统的网页数据量是最大的。 网络上的信息数量巨大而且种类繁多，任何一个实际运行的搜集系统都不可能将其全部搜尽。优秀的搜索引擎总会搜集尽量多的网页，更好的满足用户的查询要求。考察搜索引擎对WWW信息资源的搜集覆盖程度，可作为不断改进搜集系统的根据，对评价搜索引擎的性能好坏具有积极的作用。 另一方面，随着社会信息化程度的不断提高，WWW将是该阶段人类社会信息资源在网络上的投影，记录着人类社会的历史发展进程。基于搜索引擎技术开发的网络信息博物馆正以此为目的，力图通过搜索引擎的网页搜集系统不断搜集WWW上的所有网页，若干年后能够同时在时间和空间上展示WWW的每一个角落。因此，研究搜索引擎的信息覆盖率对验证网络信息博物馆网页资源的有效性也有着十分重大的意义。 本文的研究工作基于上述目的，针对北京大学计算机系网络与分布式系统实验室开发的WWW搜索引擎[8]及以此为基础开发的网上信息博物馆WebInfomall[9]，采取多种方法从多个角度计算其信息覆盖率，证明了该网页搜集系统获得的中国网络信息资源是基本有效的。 模型概述 网页搜集的不完全性 如果把WWW中的每一个网页看作一个顶点，则这个顶点以URL作为它的唯一标记；又由于网页中存在其它网页的URL，可以把这种网页间的链接看作连接顶点的边，则整个WWW构成了一张有向图，如图1示。相应的，每一个顶点的入度和出度对应着链向该网页的网页数量和该网页链向其他网页的数量。显然，这是一张不完全图，因为里面存在很多入度或出度为0的顶点。 当前的网页搜集系统都是基于对这种WWW链接结构的理解，依据网页之间的链接关系，从某一个种子UR