中文信息学报Web信息检索结果融合中的按位加权插入合并算法Ξ.PDFVIP

中　文 　信 　息 　学 　报 第 18 卷 第 2 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No2 文章编号 :1003 - 0077 (2004) 02 - 0008 - 07 Web 信息检索结果融合中的按位加权插入合并算法 张 　敏 ,金奕江 ,马少平 (清华大学 计算机系智能技术与系统国家重点实验室 ,北京 　100084) 摘要 :在 Internet 中 , 由于海量数据的多样性 ,在分布式数据集合上进行有效的检索就成为 Web 信息检索 的一种必要方式 。由此 ,引出多个检索结果的融合问题 。对不同检索结果的相似度评分可能完全不可比的情 况 ,本文给出一种新的解决方案 :按位加权插入合并算法 。在 18 GB 的大规模 web 标准测试集上的实验证明 , 该算法始终能够提高综合检索性能 ,且分布数据集检索结果越好 ,则合并后性能改善越多 。其中系统平均精 度提高接近 10 % ,突破了传统方法对分布数据集结果合并的综合效果总是低于使用集中数据集检索的性能 局限。 关键词 :计算机应用 ; 中文信息处理 ;Web 信息检索 ;数据集选择 ;结果融合 ;基于排序的融合 中图分类号 : TP39 1 　　　文献标识码 :A Rankbased Weighted Insertion Results Fusion Algorithm in Web IR ZHAN G Min , J IN Yijiang , MA Shaoping ( State Key Lab of Intelligent Tech . Sys. , CST Dept , Tsinghua Univer sit y , Beijing 100084 , China) Abstract : According to t he variety of huge amount of web p ages in Internet , it has been necessary to todays Web IR to search effectively on distributed collections. Therefore , t he retrieval result s fusion problem is derived . In t his p ap er , a novel rankbased weighted insertion result s fusion algorit hm is proposed . Though it is possible t hat similari ty scores of different result s are absolutely incomp arable , t he proposed algorit hm works effectively . Exp erimental re sult s on 18 GB largescale Web standard test collection show t he weighted insertion result fusion strategy enhances retrieval p erformance consistently . When t he p erformances of distributed result s are improved , t he enhancement in creases as well , which reaches to 10 %. Furt hermore , it also breaks t he limitation in traditional result fusion studies t hat t he final resul