常用搜索引擎技术概述参考.pdfVIP

常用搜索引擎技术概述 [摘要 ] 本文简述了搜索引擎的概念，地位， 现状，起源，发展等， 并对其分类、 性能指标， 关键技术等方面做了一定的研究和讨论， 在此基础上对其发展趋势和 前景作了相关展望。 [关键词 ] 搜索引擎 信息检索 Abstract This paper describes the definition ，position ，status，development of search engine. It also holds discussion of category，performance，key technology of search engine. Looking forward is also presented at the end of paper. Keywords： search engine， information extraction; 1 搜索引擎概念、地位及现状 随着网络日益融入人们的日常生活和工作， 作为一个信息平台， 网络内容不 断丰富，整个网络逐渐堆积成一个前所未有的超大型信息库。 因此怎样快速有效 的从海量数据中找出所需的信息就变成一个困难的问题， 搜索引擎正是为了解决 “信息丰富，知识贫乏”奇怪现象问题而出现的技术。 搜索引擎是一个信息处理系统， 它以一定的策略在互联网中搜集、 发现信息， 对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导 航的目的，一般包括信息搜集、 信息整理和用户查询三部分。 从用户的角度来看， 它就是一个帮助人们进行信息检索的工具。 搜索引擎已经成为信息领域的产业之 一。它要用到了信息检索、人工智能、数据库、数据挖掘、自然语言理解等领域 的理论和技术， 具有综合性和挑战性。 又由于搜索引擎有大量的用户， 由此衍射 出许多商机，具有很好的经济价值。 2 搜索引擎起源及发展 第一代搜索引擎出现于 1994 年。这类搜索引擎一般都索引少于 1，000，000 个网页， 极少重新搜集网页并去刷新索引。 而且其检索速度非常慢， 一般都要等 待 10 秒 甚 至 更 长 的 时 间 。 在 实 现 技 术 上 也 基 本 沿 用 较 为 成 熟 的 IR(InformationRetrieval) 、网络、数据库等技术， 相当于利用一些已有技术实现的 一个 WWW 上的应用。在 1994年 3 月到 4 月，网络爬虫 World Web Worm (WWWW) 平均每天承受大约 1500 次查询。 大约在 1996年出现的第二代搜索引擎系统大多采用分布式方案 (多个微型计 算机协同工作 )来提高数据规模、响应速度和用户数量，它们一般都保持一个大 约 50，000，000 网页的索引数据库，每天能够响应 10，000，000 次用户检索请 求。1997 年 11 月，当时最先进的几个搜索引擎号称能建立从 2，000，000 到 100， 000，000 的网页索引。Altavista 搜索引擎声称他们每天大概要承受 20，000，000 次查询。 自 1998 年出现了一个搜索引擎空前繁荣的时期，我们统称这一时期的搜索 引擎为第三代搜索引擎。第三代搜索引擎的发展有如下几个特点： 索引数据库的规模继续增大， 一般的商业搜索引擎都保持在几千万甚至上亿 个网页。 除了一般意义上的搜索以外， 开始出现主题搜索和地域搜索。 很多小型的垂 直门户站点开始使用该技术。 由于搜索返回数据量过大， 检索结果相关度评价成为研究的焦点。