搜索引擎的历史起源，技术核心与发展现状.pdfVIP

搜索引擎的历史起源，技术核心与发展现状 信息技术的不断发展，特别是互联网应用的迅速普及，深入到了人们生活的各个方面， 改变了人们生活方式和思维方式，方便了全球信息资源共享。全球目前的网页超过100亿， 每天新增加数百万网页，电子信息爆炸似的丰富起来。要在如此浩瀚的海洋里寻找信息，就 像“大海捞针”一样。能有一种工具使我们可以在不到1秒钟的时间就迅速找到我们想要的内 容吗？答案是“有”，这就是搜索引擎。今天，搜索引擎已成为人们在网络信息海洋中自如冲 浪必不可少的利器。 搜索引擎(Search Engines)就是指在WWW(WorldWideWeb)环境中能够响应用户提交的 搜索请求，返回相应的查询结果信息的技术和系统，是互联网上的可以查询网站或网页信息 的工具。它包括信息搜集、信息整理和用户查询三部分。搜索引擎的服务方式分为两种：目 录服务和关键字检索服务。目录服务是由分类专家将网络信息按照主题分成若干个大类，用 户可以根据分类清晰地找到自己所需要的内容。关键字检索服务可以查找包含一个或多个特 定关键字或词组的WWW 站点。搜索引擎是互联网的第二大核心技术，涉及到信息检索、 人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多 领域的理论和技术，所以具有综合性和挑战性。 1 1 11、搜索引擎的发展 1990年以前，没有任何人能实现搜索互联网的功能。互联网发展早期，信息量较少， 互联网用户多为专业人士，那时查找信息要相对容易。伴随互联网爆炸性的发展，普通网络 用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的搜索引擎便应运 而生了。所有搜索引擎的祖先，都可以追溯到 1990 年由蒙特利尔McGill 大学学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。虽然当时WorldWideWeb 还未出现，但因为当时网络的主要用途是传输文件，网络中的文件传输还是相当频繁。由于 大量的文件散布在各个分散的FTP 主机中，查询起来非常不便，因此AlanEmtage 想到了开 发一个可以以文件名查找文件的系统，于是便有了Archie。 1993 年，美国内华达System Computing Services 大学开发了一个与Archie 非常相似的 搜索工具，这个搜索工具既能够检索文件也能够检索网页。 1994年4月，斯坦福(Stanford)大学的两名博士生，David Filo和美籍华人杨致远(Gerry Yang)共同创办了超级目录索引Yahoo，并成功地使搜索引擎的概念深入人心。从此搜索引 擎进入了高速发展时期。 1998年，斯坦福大学的两位博士生LarryPage 和SergeyBrin 开发出了现在世界上最大 的搜索引擎——Google。通过对20多亿网页进行整理，Google 可为世界各地的用户提供适 需的搜索结果，而且搜索时间通常不到半秒。现在，Google 每天需要为世界各国用户提供1.5 亿次查询服务。 1997年10月29日，北大天网正式在CERNET 上向广大Internet 用户提供Web信息导 航服务，它是由北大计算机系网络与分布式系统研究室开发的国家“九五”重点科技攻关项目 “中文编码和分布式中英文信息发现”的研究成果，受到学术界广泛好评。 2000 年1 月，两位北大校友，前Infoseek 资深工程师李彦宏与加州大学伯克利分校博 士后徐勇在北京中关村创立了百度(Baidu)公司。历经5年的高速发展后，在近两年时间里， 百度高居全球网站流量前八名的位置，已经成为全球十大网站之一。百度每天接受着超过一 亿人次来自各个方面的内容检索请求，中国9400万网民几乎每天使用1次百度。“有问题百 度一下”已经成为中国网络流行语之一。 2002年，中国搜索(原慧聪搜索)正式进入中文搜索引擎市场。在一年多的时间里，就发 展为全球著名的中文搜索引擎服务商，为新浪、搜狐、网易、TOM 等知名门户网站提供搜 索引擎技术。慧聪搜索引擎的优势是从人工审核网站信息源和设置禁查词两个方面入手，有 效地过滤了不良信息，降低了垃圾信息的含量。在互联网实时新闻搜索方面，慧聪也实现了 网络新闻的实时检索。 2 2 22、搜索引擎的工作原理 简单的说，搜索引擎是通过从互联网上提取的各个网站的信息来建立数据库，检索与用 户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。根据搜索引擎提取 数据的方法，可将搜索引