北京大学计算机科学技术系网络与分布式系统实验室....pdfVIP

北京大学计算机科学技术系·网络与分布式系统实验室·孟涛·学士论文 搜索引擎的信息覆盖率评测模型研究 孟涛 李晓明 闫宏飞 北京大学计算机科学技术系 ，100871 摘 要 本文从 WWW 有向图结构出发，总结分析了搜索引擎搜集子系统网页搜集不完全性的 若干因素，指出信息覆盖率这一概念的研究意义，由此提出了三类比较重要的信息覆盖率概念。在对 信息覆盖率建立量化研究模型之后，本文以北大天网 WebInfomall 平台为考察对象，以不同的方式对 中国 Web 进行取样，用 PageRank 和 HITS 这两类典型的权值算法计算出其中的重要网页作为样本， 从量和质的角度上考察 webinfomall 的信息覆盖率，得到合理的数量覆盖率和质量覆盖率实验数据， 从而验证了 WebInfomall 信息覆盖率结论的合理性和信息覆盖率评测模型的可靠性。 关键词 搜索引擎，信息覆盖率，取样，权值计算，验证，数量覆盖率，质量覆盖率 1 研究背景 WWW （World Wide Web ）自 1989 年诞生并于次年开始运行以来,在迄今为止的十多 年里发展迅猛，已逐渐成为人类社会信息资源中的一个重要组成部分。它以超文本和超 媒体为核心技术，将文本、图形、图像、音频和视频等信息有机结合起来，给人们以丰 富的信息表示空间。随着 Internet 技术和应用的不断发展，社会的信息化进程不断加快， 越来越多的社会信息资源开始选择 Web 作为其载体。 当前，WWW 上大约有 8,745,000 个网站，约 2,500,000,000 网页，包含了至少 19TB 以上的数据，而且这些网页正以每天净增 7,500,000 的速度膨胀[1] [2] 。而在中国，根据 中国互联网络中心（CNNIC ）于 2002 年 1 月进行的互联网统计报告[3] ，CN 下注册的域 名数为 127,319 个，共有 277,100 个 Web 站点。到 2002 年为止，中国境内的 Web 站点 [4] 共有 53,432,598 个网页，主要分布在约 49,146 个网站中 。 面对浩瀚的互联网络资源，人们若不借助其他工具很难快速的查找到自己所需要的 信息，这带来了搜索引擎的诞生。从 1994 年诞生的第一代搜索引擎 Lycos 和 InfoSeek 等开始，发展到当前流行的 Google 、Altavista 等系统，它们已逐渐成为人们进行网际冲 浪的重要工具之一。根据弗吉尼亚理工大学 GVU 中心的调查报告[5] ，全世界有 84.8% 的 WWW 用户通过搜索引擎获得自己所需网页，足见搜索引擎功用之一斑。 我们将每一条独立的 WWW 信息称为一个网页，它有一个唯一的资源定位地址称为 URL(Uniform Resource Location) 。搜索引擎便是利用 URL 之间的连接关系，搜集其对应 的网页信息，建立索引，供用户查询。因此，搜索引擎搜集的网页集合便是用户所能得 到查询结果的最大范围；这个范围越接近 WWW ，搜索引擎越优秀。事实上，没有任何 一个搜索引擎能搜集完 WWW 的所有网页。著名的搜索引擎 Google 系统和 WiseNut 系 1 北京大学计算机科学技术系·网络与分布式系统实验室·孟涛·学士论文 [6] [7] 统，搜集到并提供给用户查询的网页数量分别是 2,073,418,204 个 和 1,571,413,207 个， 最多不过静态网页总数的 80% 。而根据 Greg R.Notes 在 200 ？年 3 月发表的搜索引擎统 计数据[8]？？，这两个系统的网页数据量是最大的。 网络上的信息数量巨大而且种类繁多，任何一个实际运行的搜集系统都不可能将其 全部搜尽。优秀的搜索引擎总会搜集尽量多的网页，更好的满足用户的查询要求。考察