元搜索引擎系统合成算法的约束条件_阳小华.pdfVIP

DOI:10.13328/ki.jos.2002.07.011 1000-9825/2002/13(07) 1264-07 ©2002 Journal of Software 软 件 学 报 Vol.13, No.7 元搜索引擎系统合成算法的约束条件· 1 1 1 1 2 阳小华 , 刘振宇 , 谭敏生 , 刘 杰 , 张敏捷 1(南华大学 计算机科学与技术学院,湖南 衡阳 421001); 2(澳大利亚伍龙贡大学 信息技术与计算机科学学院,澳大利亚) E-mail: xiaohua1963@ 摘要: 合成是元搜索引擎系统中一个重要的技术问题.给出了搜索引擎和元搜索引擎的形式化定义,对各种可 能的元搜索引擎合成类型进行了划分.在此基础上,提出了元搜索引擎合成的一般性约束条件以及针对特殊类 型的特殊约束条件.这些约束条件为构造好的元搜索引擎合成策略提供了基本保障. 关 键 词: 因特网;搜索引擎;元搜索引擎;排序;合成 中图法分类号: TP393 文献标识码: A 搜索引擎(search engine ,简称 SE)是一种基于关键字检索的因特网信息查询工具,其核心是一个排序系统. 由于因特网上的信息量巨大,没有一个搜索引擎能够覆盖整个网络.为了获得所需的信息,人们有时不得不使用 多个搜索引擎.而元搜索引擎(meta search engine ,简称 MSE)则是多个搜索引擎的集成,其工作过程可以归纳为 如下6 步:(1) 接受用户的原始查询;(2) 把原始查询分别转换为各个成员搜索引擎能够接受的形式;(3) 向成员 搜索引擎发送查询;(4) 收集各个搜索引擎的原始查询结果;(5) 对原始查询结果进行合成,形成最终结果;(6) 把最终查询结果递交给用户.Metasearch, SavvySearch,Metacrawler,Profusion,Inquirus 和MetaGer 等是一些有代 表性的元搜索引擎系统. 从元搜索引擎的工作原理可以看出,查询结果合成是一个十分重要的环节. 由于搜索引擎查询结果的规模 常常比较庞大,而用户又通常缺乏足够的耐心、精力和时间去遍历所有的命中文档,他们一般只会检查前几条 或几十条信息,因此,最终查询结果中各个项目的排列顺序是至关重要的. 查询结果合成在分布式信息检索系统中得到了广泛的关注,人们提出了许多种合成方法.在文献[1] 中,J.P. Callan 等人针对不同的情况给出了4 种典型的合成算法.(1) 如果只有文档的原始顺序是已知的,则可以采用间 隔排列合成法:首先把每个查询结果中的第 1 项交叉列出,然后再把各个查询结果中的第 2 项交叉列出,依此类 推.(2) 如果可以得到文档的原始相关性分值,那么当这些分值可以直接比较时,则可以采用原始分值合成法:直 接依据每个文档的原始相关性分值决定其合成排列次序.(3) 如果文档的原始分值不能直接比较,则可以通过 对 idf(倒排文档频率) 等进行标准化来得到规范的相关性分值,并以之为根据确定文档的合成排列次序(规范分 值合成).(4) 加权分值法:首先计算出各个信息源相应于查询条件的重要性,再以此为权乘上文档的相关性分值 作为决定其合成排列次序的根据. 在文献[2] 中,Kirsch 给出了另一类典型的合成方法.这种方法要求对下层搜索引擎进行一些修改, 以便返回 · 收稿日期: 2000-09-13; 修改日期: 2001-03-12 基金项目: 国家留学基金委资助项目;湖南省教育厅科研基金资助项目(00C174);澳大利亚纽卡索尔大学ERC 研究 基金资助项目(142/1078);南华大学博士启动基金资助项目(5-01-XJQ-001) 作者简介: 阳小华(1963－),男,湖南衡阳人,博士,教授,主要研究领域为信息检索技术,数据库技术,工作流管理;刘振宇 (1962－)