搜索引擎技术和发展综述.docVIP

搜索引擎技术和发展综述 　　摘要：随着信息技术的飞速发展和互联网的广泛普及，信息检索技术越来越受到重视。阐述了搜索引擎的产生与发展，并对搜索引擎的核心技术、评价指标和工作原理进行了深入研究。介绍了一些著名的搜索引擎。在此基础上，对搜索引擎的发展方向进行了预测。 　　关键词：信息技术；信息检索；搜索引擎 　　中图分类号：TP311.52 文献标识码：A 文章编号：1007—9599 （2012） 14—0000—03 　　一、引言 　　信息技术如今迅速发展，Internet也得到了广泛的普及，网络上的信息量正在以指数趋势上升。其信息来源分布广泛，种类繁多。如果不能对信息进行有序化管理，用户将很难从如此海量的信息中提取出他们需要的信息。目前，搜索引擎已经成为人们获取信息的主要手段之一。搜索引擎就是在繁琐复杂的互联网信息中通过特定的检索策略，对信息进行搜索与分类，通过分析用户提交的请求，按照用户的要求和习惯进行组织，从而达到用户快速检索特定信息的目的。目前搜索引擎提供的搜索方式主要有整句、主题词、自由词等等，用以适应不同用户的需求。 　　二、搜索引擎的产生与发展 　　蒙特利尔大学的Alan Emtage实现了最初的搜索引擎，称为Archie引擎，Archie引擎可以在特定的网络中进行相关的信息检索。由于其工作原理与现代搜索引擎非常接近，我们通常认为他开创了现代搜索引擎领域。搜索引擎的发展大致经历过了三代： 　　（1）第一代搜索引擎是1994年Michael Mauldin将John Leavitt的“网络爬虫”程序接入到其索引程序中的Lycos。由于结构和技术相对不成熟，它的搜索速度比较慢，更新速度也不能满足用户的检索要求。 　　（2）美国斯坦福大学的David Filo和美籍华人杨致远合作开发成功了第二代搜索引擎，它创立了一些用户关心的目录，用户可以通过目录进行检索。 　　（3）Google的正式推出标志着第三代搜索引擎的诞生。其集成了搜索、分类、多语言支持等功能，同时提供了摘要、排序、快照等功能，另外与强大的硬件系统配合，大大改变了互联网用户检索网络信息的方式。第三代搜索引擎主要结构如图—1所示。 　　查询接口的作用是用户进行交互，即提取用户的输入，并将检索结果返回。 　　检索器依据用户的需求，可以方便地索引库中查找相应的文档，按照相关度规则进行重排后返回。 　　索引器负责对文档建立索引，使文档以便于检索的方式重新组织。 　　分析器负责对收集器收集的信息进行分析和整理。 　　信息收集器的主要任务是对互联网上的各种信息进行收集，同时记录信息URL地址（网络爬虫完成这项工作）。 　　图1 搜索引擎结构图 　　三、搜索引擎的工作原理 　　搜索引擎不是搜索互联网，它搜索的是预先整理好的索引数据库；同样，搜索引擎也不能理解网页上的内容，它只能匹配网页上的文字。搜索引擎的工作流程如图—2所示。 　　图2 搜索引擎的工作流程 　　搜索引擎的工作流程可主要分为四个步骤：通过网络爬虫（Spider）从互联网上根据相关算法（深度优先、广度优先）抓取网页，抓取网页后对网页中的信息进行加工，加工后将处理后的信息保存到索引数据库中。当用户在索引数据库中搜索查询相关的信息资源时，搜索结果通过搜索引擎的处理后，对返回结果进行排序，展现给用户。即： 　　（1）利用网络爬虫从互联网上抓取网页：利网络爬虫，按照某种搜索策略，沿着URL链接爬到其他网页，重复这些过程，并把所有爬过的网页抓取回来。 　　（2）建立索引数据库：对爬取到的网页进行分析，提取相关关键信息，得到每一个网页针对页面中文字及链接中每一个关键词的重要性，屏蔽掉不重要的词语后，用信息建立网页索引数据库。 　　（3）处理用户的查询请求：系统接收到用户要查询的关键字后，调用检索器进行搜索，并将返回的结果进行相关度排序，最后按照优先度降序的方式存储在返回结果集合中。 　　（4）将查询结果返回给用户：搜索结果以网页的形式将结果集中的返回给用户。方便用户查看。 　　按照上面的步骤就可以简单的架构一个搜索引擎系统供用户使用。目前有很多开源的搜索引擎产品已经完成了上述相关内容，使用者只需要进行相应的配置就可以使用，大大的简化了搜索引擎的开发。目前，比较流行的开源搜索引擎有Nutch、Solr等等。 　　四、搜索引擎的核心技术 　　搜索引擎的核心技术包括索引技术和检索技术。 　　（一）索引技术 　　顺序查找，即通过线性匹配文本进行查找是一种不使用索引进行检索的例子。它无需对文档中的信息进行预处理。这种检索方式在文本较大时检索速度会变得非常慢，通常情况下不使用这种检索方式。 　　一种解决方法是对文档进行预处理，在文档间建立一种便于检索的数据结构，把这种数据结构称为索引。常用的索引方式主要有三种：倒排索引、后缀数组索