搜索引擎发展情况及其趋势.pdfVIP

搜索引擎发展情况及其趋势 第一章：起源 随着加Internet的不断增长，用户在Internet上查询到自己所需的信息变得越来越困 难。Alan Emtage. Bil Heelan和Peter Deutsch，以及加拿大McGil大学的几个学生想到了 一种解决方法，他们创建了一个名叫Archi.的数据库系统，该系统定期查阅Internet各文件 库，确定可以提供给Internet用户的文件。任何一个Internet用户，只要访问Archie，给出 需要查找的文件名，就能知道文件的位置.文档服务器Archie作为Internet资源的一种检索 工具，它提供了一种在Internet环境下以信息查询为目的的电子目录服务资源。从原理上看， Archi.的工作过程很简单。在一定时间间隔内。运行一个特殊的软件，该软件与每一个已知 的匿名FTP主机建立连接，并把存有公众文件目录的完整清单存入名为Internet Archives 的数据库中。当用户要求Archi.寻找某个文件时，Archie所要做的就是搜索这个数据库，并 将文件所在地信息返回给用户。 搜索引擎(例如 Google)是一种根据关键词进行模糊匹配,从而找到存在关键词的网页的 技术搜索引擎之所以能在互联网上得到广泛使用,一个很主要的原因就在于信息搜索的模 糊性为用户提供了极大的方便搜索引擎通常是针对以文件形式存放的文本数据的,而非针 对数据库中存放的结构化数据 第二章：分类 Internet上已有许多搜索引擎，它们往往使用不同的方法建立自己的信息数据库，通常 可以将这些工具分为以下几类。 1.目录式(Directory)搜索引擎 目录学是读书治学的入门知识,泛舟书海的向导,科学研究的指南 目录学是时代的产 物,它的产生和发展来源于时代的需要,又服务于时代的需求这就是目录学的发展特性在当 今网络环境下,搜索引擎网络目录的产生与发展就说明了这一点 目录式搜索引擎(Yahoo[Mitchcl96], GENVL[McBryan96」等)通过人工读取文档，以某 种分类形式组织WWW信息资源，如按学科，按字母顺序，按时间先后，或这些方法的组合。 其优点是结构清晰，便于人们浏览;不足之处在于需要很多的人力来搜集、组织信息，需要 人工维护，而且包含的内容不全，分类方式各异。例如yahoo 、Cor2bis、webseek 、webshots 等 2.基于机器人( )的搜索引攀 于机器人的搜索引擎(如:Altavista(Chu96], WebCrawler, WISE, Lycos[Lin95]和BSE spider[Eichmami94)等)是一种典型的搜索引擎。它们通过网络搜索机器人搜索Web资源，力 求能够对WWW中所有数据进行检索[Lin95][Manber97],涉及网上的任何领域，然而由于WWW 的海量信息，实际运行中往往只能对WWW中部分内容进行检索。 基于机器人的搜索引擎通常包含三部分:查询接口(Query Interface)，索引数据库 (Index Database)以及网络搜索机器人(Robot) 搜索机器人首先从一个初始统一资源定位器URL(Uniform Resource Locator)地址集中 读取文档，分析井检查这些文档中的链接，找出新的信息空间，然后读取这些新空间中的文 档，从Web上取回文档后，对它们建立索引并将相应信息加入索引数据库。查询接口通过检 索索引数据库为用户的查询请求提供服务。网络搜索策略及数据检索方法是基于机器人搜索 引攀的两个最重要的因素。Web的搜索问题和经典的人工智能AI搜索图之间存在着明显的映 射关系[Nancy96l田alabanovic97] Web中的文档相当于图中的结点，而到其它文档的超文 本链接(Hypertext Link)则相当于是搜索图的边.对于服务器级搜索通常有两种不同的搜索 策略，即广度优先（读取第一个文档包含的所有连接，循环进行）和深度优先（读取第一 个文档包含的第一个连接，循环进行）搜索策略。数据检索方法通常有全文(Ful Text)(基 于内容的)检索和基于标题(Title-based)检索两类。全文检索对文档的内容进行检索，能较 好地反映文档的内容，但其索引数据库往往比较大;而基于标题的检索只对文档的标题和/ 或副标题以及文档的定位信息进行检索，不能很好地反映文档的内容，但可以减小索引数据 库的大小。Altavista Scooter[Chu96]等采用了全文检索方法，W W