基于用户收益的归并比较评测方法分析-analysis of merging comparison evaluation method based on user benefits.docxVIP

目录第1章引言11.1研究背景11.2研究内容51.3符号和术语定义71.4论文组织结构8第2章相关工作102.1归并比较评测方法102.1.1平衡归并方法122.1.2参赛队归并法142.1.3文档约束归并法162.1.4概率归并法172.2对归并比较评测方法的评测19第3章实验设计22第4章基于点击收益的归并比较评测方法264.1文档收益和点击收益264.2实验结果分析294.2.1基于点击收益的平衡归并法304.2.2基于点击收益的参赛队归并法344.2.3基于点击收益的概率归并法374.2.4基于点击收益的边际平滑概率归并法394.2.5不同方法中基于点击收益的最优形式424.3小结44第5章基于收益比的归并比较评测方法455.1理想收益和收益比455.2实验结果分析475.2.1基于收益比的平衡归并法475.2.2基于收益比的参赛队归并法495.2.3基于收益比的概率归并法515.2.4基于收益比的边际平滑概率归并法535.2.5不同方法中基于收益比的最优形式555.3小结56第6章序列化归并法586.1序列化归并法586.2使用点击数据的序列化归并法606.3实验结果分析616.4小结65第7章总结66参考文献67攻读硕士学位期间的科研成果70致谢71图目录图1归并比较评测方法的工作流程10图2概率归并法的图模型18图3基于点击收益的平衡归并法的准确率效率31图4基于点击收益的参赛队归并法的准确率效率35图5基于点击收益的概率归并法的准确率效率38图6基于点击收益的边际平滑概率归并法的准确率效率41图7Perfect用户模型，不同方法基于点击收益的最优形式43图8基于收益比的平衡归并法的准确率效率49图9基于收益比的参赛队归并法的准确率效率51图10基于收益比的概率归并法的准确率效率53图11基于收益比的边际平滑概率归并法的准确率效率55图12Perfect用户模型，不同方法基于收益比的最优形式55图13不同形式的序列化归并法的准确率效率63图14使用点击数据对归并文档列表质量的改进64表1符号说明7表2函数术语说明8表3平衡归并法的示例14表4参赛队归并法的示例15表5两个模拟搜索引擎的特征权重设置22表6四种用户点击模型的参数设置23表7不同的序列化归并法在四种用户模型下的最终准确率63第1章引言1.1研究背景如今，互联网已经成为人们交流、共享和获取知识信息的重要途径，但是如何分析处理越来越多的网页，以及越来越深和复杂的网站浏览结构，并从中检索我们所需要的信息也变得越来越困难和复杂。因而，搜索引擎技术在其中发挥了越来越大的作用。于是，在各种不同的应用环境下我们该如何选择和设定搜索技术，来为用户提供更好的检索服务，就成为一个非常重要的问题，因此我们需要搜索引擎评价技术来帮助我们评价一个搜索引擎质量的好坏1。一方面，搜索引擎评价技术对各种搜索引擎技术进行充分的评测分析，可以帮助我们了解各种搜索引擎技术的优点和缺点，尤其是它们在不同的应用场景下对各种信息需求的表现，从而指导我们选择和设定合适的搜索引擎技术；另一方面，对搜索引擎技术的评测分析可以使我们更深入地认识和理解各种搜索引擎技术的关键和作用，从而促进和帮助我们改善已有的技术，并开发更好的搜索引擎。在已有的搜索引擎技术中，元搜索是一种有别与传统方式的搜索引擎技术。元搜索引擎在获得用户提交的查询后，不会真正地分析查询并从文档集合索引中检索相关文档，而是从多个他处的搜索引擎获得对该查询的结果文档列表，然后通过一种合理的归并过程，将多个搜索引擎的结果综合成一个文档列表，再展示给用户，因此它并不需要真正地从互联网上抓取海量的网页来建立文档索引。元搜索引擎最关键的技术就是如何归并多个结果文档列表，它归并的目的是希望能够保证用户的搜索体验，不会因为使用的搜索引擎技术不善于应对某种情境下的信息需求而收到损失，即最终的归并文档列表能够更广泛地在多种情境下很好地满足用户的信息需求。为此，元搜索使用的归并算法是建立在对源搜索引擎质量的评测分析基础上的，因而研究元搜索引擎技术就需要搜索引擎评价技术来对从1“搜索引擎质量的好坏”包含很多方面，而本文中将要讨论的主要是指搜索引擎展示的结果质量的好坏，即搜索引擎的效果（Effectiveness）问题中获取结果文档列表的源搜索引擎进行评测分析，以帮助开发合理的归并算法。在现有的研究中，搜索引擎评价技术主要分为三类：基于用户研究的方法、Cranfield范式方法和基于用户隐反馈的方法。基于用户研究的方法通过招募一些搜索用户，给他们指定一些搜索任务，根据用户使用搜索引擎完成任务的情况和他们的满意程度等客观和主观的指标来评价搜索引擎的质量[1,2]。这种方法需要花费大量的人力和时间代价，而且实验产生的数据不可重用于评测其他的搜索引擎，从而限制了其实