第6章 元搜索擎.pptVIP

第六章 元搜索引擎 6.1 概念 1、也称为集合式的搜索引擎，将多个搜索引擎集合在一起，提供一个一致的界面，也可分为关键词检索和目录检索。 当用户发出检索请求后，该引擎自动利用多种其它的搜索引擎同时进行检索。 开发元搜索引擎，主要的理由是： 1）元搜索能够分散处理负载，增加检索的范围。 Web 数据量太大，而且增长迅猛，单个引擎的容量，处理能力难以扩展到很大的规模，所以每个引擎只能包含一部分 Web 文档。 2）元搜索具有较好的扩展性，可以加入多个成员引擎。它使得各个成员引擎规模变小，性能更好，这样成员引擎的检索响应时间短，还可以使得检索的内容保持最新。 3）有些 web 站点的内容不能用数据采集器抓取，只有用该站点提供的 API 访问。 4）检索更有效，用户为了找到满意的检索结果可能访问多个搜索引擎，直到找到结果位置，而元搜索引擎可以帮助用户自动完成这个任务。 3）查询分发：把来自检索界面的查询串翻译成特定的引擎的串。 4）结果合并： 如果成员引擎的相关函数不同，没有可比性，则逐个取返回结果队列的头部，如果成员引擎的相关函数相同，返回结果的权值具有可比性，可以按查询与引擎的相关系数加权各个返回队列，用多路最优归并算法合并结果形成全局有序队列。 结果合并过程中还要除去重复的文档，方法是取每个文档的索引纪录中摘要部分的前