元搜索引擎中检结果优化策略的研究.pdf

元搜索引擎中检索结果优化策略的研究 摘要 近年来，随着网络的大量普及以及各种技术的快速发展，互联网上的 信息呈爆炸性增长。人们要在网上快速查找自己想要的资料越来越困难， 搜索引擎的出现为解决这一难题提供了方便。 ． 然而，独立搜索引擎所覆盖的信息面相对来说，还不够宽。随着网络 的迅猛发展，独立搜索引擎越来越显得力不从心。为了改变这一状态，元 搜索引擎伴随着人们的需要就产生了。元搜索引擎所覆盖的信息范围相对 而言比较广，在一定范围内能提高了检索结果的查全率以及准确性。它吸 引着人们的浓厚研究兴趣，成为信息检索研究的热点之一。而由于元搜索 引擎所选取的各成员搜索引擎在检索方式、排序算法等方面采用不同的方 法，这就造成了在对返回结果进行相关处理时比较困难，所以它也是信息 检索研究的难点之一。本文在深入研究元搜索引擎的相关技术基础上，提 出了基于用户偏好的摘要／位置的结果排序算法和基于网页正文主题和摘 要的网页去重算法。 首先，简述了元搜索引擎的运作原理和分类，研究了元搜索引擎的核 心技术，并阐述了它的不足以及未来发展趋势。 其次，在深入研究元搜索引擎返回结果常用排序算法的基础上，提出 了一种改进的基于用户偏好的摘要／位置排序算法。该算法不仅能体现出查 询词与主题、摘要的相关度，而且能体现出用户对成员搜索引擎的偏好。 I 实验表明，该算法具有明显的优势，更能满足用户的个性需求。 再次，利用模糊匹配的思想，引入分词，提出一种基于网页正文主题 和摘要的网页去重算法。该算法首先对各成员搜索引擎返回来的网页标题 进行有关处理，提取出网页的主题信息，然后对主题、摘要进行分词，再 分别计算主题、摘要的相似度。二者结合能更好地体现出文章摘要的内容， 实现网页去重。实验表明，在网页去重方面，比起基于传统特征码的去重 算法，该算法具有明显的优势，更接近人工统计结果。 最后，设计出整个元搜索引擎系统，验证算法的有效性。 关键词：元搜索引擎成员搜索引擎结果排序 网页去重 lI RESEARCHONSEARCHRESULTS STRATEGYOFMETASEARCHENGINE ABSTRACT Inrecent the the weU ne锕orl‘，as years，withincreasingpopulari够of asthe isin ofVarious theinf．ormation rapiddeVelopment technologies，thus ontheInternet．Itbecomesmoreandmoredi伍cultwhen explosiVegrowth wantto6ndtheinformationinthe the of people web，butappearance search tosolvethis eⅡgines p阳bIem． the search informationcoVered HoweVer，forindependent engine，th