基于用户隐反馈的搜索引擎评价方法100330.pptVIP

基于隐反馈的搜索引擎评价方法研究 博士生： 何靖 导师：李晓明 提纲 研究问题 研究意义 研究内容 研究方案 可能的贡献 研究问题 高效地获取搜索用户的隐反馈信息，对搜索引擎质量进行准确地评价 隐反馈信息：用户在使用搜索引擎时的行为中可以获取的特征，如查询字符，点击URL，浏览时间等 评价：获得搜索引擎质量的指标，比较不同搜索引擎及其组件的好坏 准确：获得搜索引擎的质量的指标数值能够反映真实的情况 高效：能够通过比较少的查询次数，比较快地获得搜索引擎的质量指标 研究意义 搜索引擎评价的意义 比较不同搜索引擎的好坏，从而帮助用户选择比较好的搜索引擎 比较搜索引擎中不同组件的好坏，从而指导搜索引擎的研究开发者选择和发现更好的搜索方法 基于隐反馈的搜索引擎评价意义 这是一种自动的搜索引擎评价技术，可以很大程度地降低人力成本 提供对搜索引擎及其组件进行个性化地评价的方法 研究内容 基于用户隐反馈评价信息检索系统的效果 基于用户隐反馈评价搜索引擎的结果展示方法 研究内容 基于用户隐反馈评价信息检索系统的效果 如何从隐反馈信息中获取文档相关性 如何根据文档相关性评价检索系统的质量 如何高效地获得帮助检索系统评价的隐反馈信息 研究内容 基于用户隐反馈评价搜索引擎的结果展示方法 搜索结果的展示中，有哪些文档级别特征可能会决定展示效果的好坏 如何从隐反馈信息中获取以上影响展示结果好坏的信息 采用什么指标来评价展示方法的好坏 如何高效地获得帮助获得展示结果好坏特征的隐反馈信息 研究内容 识别影响用户搜索满意程度的文档级别特征 研究从隐反馈中获取文档级别特征的方法 研究综合文档级别特征形成衡量搜索引擎质量指标的方法 研究高效地获得隐反馈信息获得文档级别特征的方法 相关性, … 相关性, 可读性,覆盖度, … 1. 文档级别特征 0.8 0.1 0.9 0.7 0.4 0.5 2. 从隐反馈获得文档级别特征 0.725 3.综合文档级别特征 获得总体质量指标 4.高效获得隐反馈信息 帮助搜索引擎评价 研究方案: 文档级别特征的识别 检索系统的效果 相关性 检索结果的展示 文档/展示信息的相关性 展示信息的长度和可读性 展示信息的信息覆盖度 研究方案: 隐反馈?文档级别特征 利用有向图模型进行文档级别特征的推理 节点 可观测变量：用户点击，查询调整，浏览时间…… 隐变量：用户查看，文档相关性，展示结果相关性/可读性…… 边 变量之间的依赖关系 如: (展示结果相关性,用户查看）?用户点击 推理方法 Gibbs采样或者EM学习 研究方案：文档级别特征?综合质量指标 检索系统效果评价 综合文档相关性分布，形成指标取值的分布 检索结果展示评价 单位时间的平均收益 收益：展示信息获得的收益，文档结果的收益 相关性 覆盖度 时间：用于获得收益的时间+无用时间 可读性和长度 相关性 研究方案：高效获取隐反馈信息 对文档重排序进行高效获取 优先收集具有区分性的文档的特征 优先收集特征信息不充分的文档特征 吸引用户查看更多文档 结合排序学习方法，控制返回列表的质量 可能的研究贡献 提出能够标识检索结果展示好坏的文档级别特征集合，并且能够综合这些特征形成检索结果展示好坏的一个度量 提出综合更多隐反馈信息的模型，通过这个模型，可以推测各种文档级别的特征 提出一种文档重排序算法，利用这种算法可以能够对高效地收集隐反馈信息，帮助搜索引擎的评价