国内外网络搜索引擎发展现状.pdf

目 录 第五章 结 束 语 55 5.1 结 论 55 5.2 未来展望 56 参 考 文 献 59 致 谢 63 中 文 摘 要 64 Abstract 67 2 第一章 绪 论 第一章 绪 论 1.1国内外网络搜索引擎的发展现状 随着信息科技的进步和互联网的日益普及，人类正在进行信 息史上最巨大的一项工程，即将实现世界现有的信息，诸如报纸、 期刊、书籍、专利文献等，都放到网络上去，同时也不停地在网 络上生产出数不胜数的新信息。整个网络正在堆积成一个前所未 有的超级大型数据库。在最近几年里，WWW 更是得到了长足的 发展，不仅成为企业必不可少的组成部分，并且开始走进千家万 户，根据NEC 研究院在《自然》上发布的数据，截止到1999 年2 月，Internet 上共有网站1,600 万个，其中公开提供WWW 服务的 网站280 万个，共有WWW 网页大约8 亿页，这些网页包含了15T 字节的数据，根据2000 年4 月在波士顿举行的第5 届搜索引擎年 会的会议报告，知道现今的网页数目已经超过了10 亿。其中WWW 在中国的发展速度也十分惊人，1994 年4 月中国科学技术网在国 内首次实现了与国际互联网的直接连接，互联网星星之火开始进 入了神州大地，4 年来我国互联网络发展非常迅速，先后建成了中 国公用计算机互联网、中国科学技术网、中国教育与科研网、中 国金桥信息网等4 个网络，上网用户达到了167.5 万，根据CNNIC （中国互联网络信息中心）在2000 年1 月的统计信息表明，中国 已有上网计算机350 万台，其中WWW 站点15,153 个；上网人数 890 万。关于网页的数目没有具体的统计数据，但根据《科学》杂 志上提供的集合估计法，通过中国几个主要搜索引擎（天网、新 浪、搜狐、网易）获得的搜索数据，可以估计到当前中国拥有的 网页数已经超过1,000 万。如何在浩瀚如海的信息空间里，快速查 找并获取所需的信息，已成为这新的信息时代里最根本的问题之 一。这就需要形成一些提供网上信息查询服务的系统，我们称之 为搜索引擎，它是在互联网产生后伴随着网上用户快速查询信息 的需求而产生的新生事物，即提供信息检索服务的计算机系统， 检索的对象包括互联网上的站点、新闻组中的文章、软件存放的 地址及作者、某个企业和个人的主页等，我们难以想象，如果没 1 第一章 绪 论 有搜索引擎，人们如何在浩瀚无边、拥有着各种各样信息的因特 网上冲浪。 [1] 目前，国际上的搜索引擎主要分成以下几类 ： （1）基于目录的搜索引擎 基于目录的搜索引擎将收集到 的信息分配到不同的类别中，典型的基于目录的搜索引擎有 Yahoo，但这类搜索引擎有两大问题： 分类是按分类者或分类软件的分析而定，不一定与用户的意 见一致； 如果你查找的信息没有对应的分类项，则无法进行搜索。 （2 ）基于机器人的搜索引擎（robot based search engines ）基 于机器人的搜集引擎从一组已知的文档出发，通过这些文档的超 文本链接确定新的检索点,然后用索引机器人周游这些新的检索 点，标引这些检索点上的新文档，将这些新文档加入到索引数据 库。以后搜索引擎可以用这个索引数据库去回答用户的提问，搜 索方法有深度优先和广度优先两种。广度优先算法先标引新服务