搜索引擎结果展示和评价研究.pdfVIP

摘 要 摘 要 搜索结果的评价是搜索引擎评价的核心组成，对于评估用户体验、迭 代改进搜索引擎具有重要的意义。目前，搜索结果的评价主要是对搜索结 果的内容进行评价，忽略搜索结果的展示方式或者假定采用了相同的展示 方式。 作为搜索结果主要组成的文本搜索结果，长久以来面向查询产生和展 示，展示方式基本固化为标题、查询词和 URL 的突出显示（突显，高亮）。 这种方法在当前互联网环境下面临一些挑战：（1）搜索用户不断增多，搜 索场景和任务多样，以关键词为主的查询往往较短或有歧义，基于查询词 突显的搜索结果展示往往与用户的真实查询信息需求之间存在偏差；（2） 用户期待搜索引擎能够“所答即所问”，目前面向查询的展示方式与用户 期待获得知识的目标之间存在偏差；（3）相同、单一展示方式下的搜索结 果内容评价，与用户对搜索结果的整体认知存在偏差。针对这些挑战，本 文主要研究搜索结果的展示和评价方法，从满足用户信息需求的角度评价 搜索结果的展示效果，自动优化搜索结果的展示方式。 本文开展了三个方面的具体研究：关键词查询的搜索结果展示和评价、 问题类查询的搜索结果展示和评价以及搜索结果展示效果自动化评价方法。 前两个研究使用了用户调查和用户实验两种方法，定性和定量分析了当用 户提交查询为关键词或一个问题时，用户对于结果展示的偏好选择以及展 示方式对于用户搜索行为的影响。我们采用机器学习算法实现了面向用户 查询意图的结果展示，可以用于优化目前面向查询的搜索结果展示方式， 也可为搜索结果展示效果评价提供一个对比的“黄金标准”。相关研究结 果扩展了已有搜索引擎结果评价的研究，加深了我们对于搜索结果展示方 式对用户网络搜索行为影响的理解。在此基础上，最后的研究实现了搜索 结果展示效果的自动化评价，可以大大减少评价所需的人力和经济成本， 缩短评价的反馈周期。 关键词：查询词突显；用户意图；答案感知；搜索结果展示；搜索结果评 价 I 目 录 目 录 第1 章 绪论 1 1.1 研究背景和意义 1 1.2 国内外研究现状 4 1.2.1 搜索结果内容 4 1.2.2 搜索结果展示 5 1.2.3 搜索结果评价 6 1.3 现有方法存在的问题 8 1.3.1 查询词突显的展示方式 8 1.3.2 面向查询的内容评价 10 1.4 论文的研究内容 11 1.5 论文的组织结构 13 第2 章 关键词查询的搜索结果文本展示和评价 15 2.1 引言 15 2.2 相关工作 17 2.2.1 查询点击日志分析 17 2.2.2 用户意图挖掘 19 2.2.3 搜索结果多样化 19 2.3 搜索结果展示的用户偏好分析 20 2.3.1 用户调查数据集 20 2.3.2 标题展示方式用户偏好调查 22 2.3.3 摘要展示方式用户偏好调查 24 2.3.4 用户偏好总结 30 2.4 搜索结果不同展示的用户行为分析 30 2.4.1 四种对比展示方式 30 2.4.2 实验设置和流程 33 2.4.3 相关性标注和评价指标 35 2.4.4 实验结果及分析 37 2.5 面向用户意图的搜索结果文本展示模型 41 2.5.1 问题定义 41 IV