中文Web测试集CWT200g之文档集的构建.pdf

北京大学本科生毕业论文 中文Web 测试集CWT200g 之文档集的构建 目录 第一章引言 5 1.1 Web 与搜索引擎 5 1.2 测试集 6 1.3 TREC 和.GOV 测试集 7 1.4 CWT100g 中文Web 测试集 8 第二章 CWT200g 文档集的设计原则 10 2.1 文档集构造的几点考虑 10 2.2 CWT200g 文档集的概况 11 第三章 CWT200g 文档集的构造 12 3.1 中文网页分布特点 12 3.2 种子站点的基本选取 14 3.3 垃圾站点过滤 18 3.4 网页的抓取 21 3.5 后期处理 22 第四章 CWT200g 的统计数据 24 4.1 规模统计 24 4.2 网站域名统计 24 4.3. 网页形式分类 25 4.4 分省网页统计 25 第五章总结 27 参考文献 28 致谢 29 4 北京大学本科生毕业论文 中文Web 测试集CWT200g 之文档集的构建 第一章 引言 1.1 Web 与搜索引擎 Web 是World Wide Web (WWW) 的简称，中文名字为“万维网”。它是一 种基于 Internet 的主从结构分布式网络信息系统，也是目前应用范围最广且最为成 功的 Internet 服务。Web 最初是在 1989 年 3 月，由欧洲量子物理实验室 CERN （the European Laboratory for Particle Physics ）的物理学家 Tim Berners-Lee 提出 的。Tim Berners-Lee 于 1990 年在自己编写的图形化 Web 浏览器 “WorldWideWeb ”上显示了最早的Web 页面。随后在 1991 年，CERN 正式发布 了Web 技术。 Web 的核心是超文本（Hypertext ）和超媒体（Hypermedia ）技术。超文本 与普通文本的不同点就在于超文本中加入了指向其他超文本的超链接(Hyperlink)， 打破了传统文本的线性组织方式，使超文本之间能够以链接组织到一起。通过超链 接用户可以很方便的在超文本之间进行跳转，浏览相关的内容。这种文本的组织方 式更接近人们的思维方式和工作方式。超媒体不仅可以包含文字，还可以包含图 形、图像、动画、声音和视频片断，这些媒体之间也使用超链接来组织。超文本和 超媒体技术为用户浏览信息提供了极大的便利，它使得用户在通过 Web 浏览器访 问信息资源的过程中，无须再关心一些技术细节。只需通过简单的方法就可以迅速 的取得丰富的信息资料。这种便利也促成了Web 在日后的飞速发展。 在最近几年中，Web 的规模一直以极快的速度扩大着。1997 年 12 月，互联 网上大约有3 亿2000 万网页[1]。而根据Google 搜索引擎在2002 年4 月索引网页 表明，网页数已经超过 20 亿。根据 CNNIC 截止到 2005 年 12 月 31 日的统计表 示，我国网站数已经达到694, 200 个，一年增加25, 300 个，增长率为3.8% [2] 。 百度于2005 年7 月27 日正式宣布，百度索引的网页数量已经达到8 亿。天网实验 室在今年年初的统计结果显示，目前中国国内的网页数量已经达到 11 亿。如此大 规模的信息资源，没有统一的组织和规划，很难迅速有效的找到有用的信息。IR （Information Retrieval，即信息检索）技术和搜索引擎则为这些问题提供了最有效 的解决方法。搜索引擎通过维护一个大规模的再现资源数据库来为用户提供搜索服