搜索引擎技术综述.docxVIP

搜索引擎技术综述

imtner的开发形成了一个巨大的全球化信息空间。它的复杂性、异构性、分布性和动态性为信息研究带来了挑战。快速获取所需的信息是用户面临的一个重要问题。搜索引擎技术可用来解决这一问题。搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的作用。同时,高性能的Web信息检索技术也是充分利用Web资源发展电子商务、远程教学、数字化图书馆等方面应用的重要基础。目前,搜索引擎技术已成为计算机工业界和学术界争相研究、开发的对象,并逐渐体现其经济价值。

搜索引擎的性能主要取决于:索引数据库的容量,存放内容,更新和搜索速度,是否易用等。搜索引擎是以传统信息检索技术为基础,利用其索引模型、匹配策略等方面的技术成果并针对Web资源的特点发展起来的信息检索技术,涉及多领域的理论和技术:数据库,信息检索,人工智能,自然语言处理,统计数据分析,数据挖掘,计算机网络,分布式处理等。本文以工作方式对搜索引擎进行分类,介绍搜索引擎各组成部分的相关研究和关键技术(搜索器策略,检索策略,搜索结果处理,信息检索Agent,多媒体搜索引擎等),并对未来搜索引擎的主要发展方向进行了展望。

1文索引数据库的运行

按照信息搜集方法、服务提供方式和系统结构的不同,搜索引擎系统可以分为不同的类别。图1所示,搜索引擎系统按其工作机制可以分为以下类别。

(1)机器人搜索引擎:由一个机器人程序以某种策略自动地搜集信息,下载到本地文档库进行分析,由索引器建立索引,对查询由检索器检索索引库,最后把查询结果返回给用户。其特点是具有全文索引数据库,信息量大,更新及时,毋需人工干预,适用于检索难以查找或模糊的信息,但返回信息过多,必须进一步筛选。

(2)目录式搜索引擎:由Web站点主动提交或用半自动方式搜集信息,由人工对Web站点进行评价,分类,形成摘要,使其按树型作主题分类组织,从树根逐层向下形成各级分类,叶节点则包括指向Web信息资源的链接。目录分类的导向作用使用户可通过浏览目录中的分类来缩小搜索范围,提高检索的准确性,但人工方式限制其更新速度和容量。

(3)元搜索引擎:对用户的查询请求进行预处理,转换为底层搜索引擎能够处理的格式,向多个搜索引擎递交,再对各搜索引擎的检索结果进行组合,排除重复,排序等处理后返回给用户。其返回结果信息量更大,更全,但往往需要作更多的筛选。

(4)信息检索Agent:是智能化的程序,能够学习用户需求,具有智能性,主动性,协作性等特点。

搜索引擎的其他分类方法还有:按照自动化程度分为人工与自动引擎;按照是否有智能分智能与非智能引擎;按照搜索内容分FTP搜索引擎,文本搜索引擎,语音搜索引擎,图形搜索引擎,视频搜索引擎等。

2搜索引擎技术分析

一般搜索引擎由搜索器,分析器,索引器,检索器和用户接口等5个部分组成,如图2所示。

2.1系统结构

由于Web信息的大容量,分布性和动态性,保持全面而又最新的资料收集是影响搜索引擎性能的重要方面。搜索器是一个机器人程序Robot(也称为Spider,crawler或wander),自动地在互联网中搜集信息下载到本地文档库。为提高其工作效率常使用分布式,并行计算技术,主要有2个方面的工作重点:

(1)搜索策略,包括优先搜索重要网页的策略;基于超链接的结构分析和机器学习技术对特殊题目或类型网页的搜索;与Web页面URL有关的启发式规则研究;根据页面更新历史优化网页集合,保持最新页面集的技术;在网站地图中随机走步进行网页取样搜索的研究;搜索隐藏网页的研究等。

(2)设计高性能系统结构以支持每秒下载大量网页同时确保系统具有较好的管理性和健壮性。DEC/Compaq的Heydon和Najork研发的Mercatorcrawler应用于AltaVista,利用并行计算技术,高速缓冲寄存器和高速硬盘解决I/O问题来提高效率,数据可以直接分析而不需写入硬盘;第一个版本的googlecrawler采用异步I/O进行下载,对索引内容的分析与搜索下载系统绑定在一起,因此下载速度受到建立索引的速度影响;InternetArchivecrawler用强大的过滤器来辨认已经找到的网页,允许在内存中完成组织,但同时导致了一些页面的遗漏。文献提出一个高效的分布式Webcrawler(引擎蜘蛛)提高I/O和网络性能。

2.2汉语分词的2大类方法

分析器对本地文档库进行分析以便用于索引。文档分析技术包括分词、过滤和转换等。

一般“词”能够表达完整的语义对象,所以通常选用词作为文本特征的元数据。在分词时,大部分系统从全文中抽取词条,也有部分系统只从文档的某些部分(如标题等)抽取词条。由于中文的基元是字而不是词,句子中各词语间没有固定的分隔符,汉语语义及结构上的