XMLHttpRequest对象的一些典型方法 简单蚁群算法的实现.doc

XMLHttpRequest对象的一些典型方法 简单蚁群算法的实现 google 初期算法 google创始人毕业论文 The Anatomy of a Large-Scale Hypertextual Web Search Engine The Anatomy of a Large-Scale Hypertextual Web Search Engine 1 绪论 Web 给信息检索带来了新的挑战。Web上的信息量快速增长，同时不断有毫无经验的新用户来体验Web这门艺术。人 们喜欢用超级链接来网上冲浪，通常都以象 Yahoo这样重要的网页或搜索引擎开始。大家认为List(目录)有效地包 含了大家感兴趣的主题，但是它具有主观性，建立和维护的代价高，升级慢，不能包括所有深奥的主题。基于关键 词的自动搜索引擎通常返回太多的低质量的匹配。使问题更遭的是，一些广告为了赢得人们的关注想方设法误导自 动搜索引擎。 我们建立了一个大型搜索引擎解决了现有系统中的很多问题。应用超文本结构，大大提高了查询质量。我们的系统 命名为google，取名自googol的通俗拼法，即10的100次方，这和我们的目标建立一个大型搜索引擎不谋而合。 1.1网络搜索引擎—升级换代（scaling up）： 1994-2000 搜索引擎技术不得不快速升级（scale dramatically）跟上成倍增长的web数量。1994年，第一个Web搜 索引擎，World Wide Web Worm(WWWW)可以检索到110，000个网页和Web的文件。到1994年11月，顶级的搜索引擎声 称可以检索到2‘000’000 （WebCrawler）至100‘000’000个网络文件（来自 Search Engine Watch）。可以预见 到2000年，可检索到的网页将超过1‘000’000‘000。同时，搜索引擎的访问量也会以惊人的速度增长。在1997年 的三 四月份，World Wide Web Worm 平均每天收到1500个查询。 在1997 年11月，Altavista 声称它每天要处理大约20’000’000个查询。随着网络用户的增长，到2000年，自动搜 索引擎每天将处理上亿个查询。我们系统的设计目标要解决许多 问题，包括质量和可升级性，引入升级搜索引擎技 术（scaling search engine technology），把它升级到如此大量的数据上。 1.2 Google： 跟 上 Web的步伐（Scaling with the Web）建立一个能够和当今web规模相适应的搜索引擎会面临许多挑战。抓网 页技术必须足够快，才能跟上网页变化的速度（keep them up to date）。存储索引和文档的空间必须足够大。索 引系统必须能够有效地处理上千亿的数据。处理查询必须快，达到每秒能处理成百上千个查询 （hundreds to thousands per second.）。随着Web的不断增长，这些任务变得越来越艰巨。然而硬件的执行效率和成本也在快速 增长，可以部分抵消这些困难。 还 有几个值得注意的因素，如磁盘的寻道时间（disk seek time），操作系统的效率（operating system robustness）。在设计Google的过程中，我们既考虑了Web的增长速度，又考虑了技术的更新。Google的设计能够很 好的升级处理海量数 据集。它能够有效地利用存储空间来存储索引。优化的数据结构能够快速有效地存取（参考 4.2节）。进一步，我们希望，相对于所抓取的文本文件和HTML网 页的数量而言，存储和建立索引的代价尽可能的 小（参考附录B）。对于象Google这样的集中式系统，采取这些措施得到了令人满意的系统可升级性 （scaling properties）。 1. 3设计目标 1.3.1 提高搜索质量。我们的主要目标是提高Web搜索引擎的质量。 1994 年，有人认为建立全搜索索引（a complete search index）可以使查找任何数据都变得容易。根据Best of the Web 1994 -- Navigators ，“最好的导航服务可以使在Web上搜索任何信息都很容易（当时所有的数据都可以 被登录）”。然而1997年的Web就迥然不同。近来搜索引擎的用户已经 证实索引的完整性不是评价搜索质量的唯一 标准。用户感兴趣的搜索结果往往湮没在“垃圾结果Junk result”中。实际上，到1997年11月为止，四大商业搜索 引擎中只有一个能够找到它自己（搜索自