检索评价-山东大学信息检索室.pptVIP

* * * * * * 检索结果的多样性（diversity） 续 目前约有17%的文档是语义上非常相似或近似copy. 目前信息检索的相似性只考虑query 与document之间的相似性，而没有考虑收集到文档之间的相似度。使得近似copy的文档输出在一起。 如何使得输出的结果能覆盖多个相关的文档簇，改善检索的覆盖率 图像检索的rerank 首先基于关键词得到输出（可能语义相关文档） 然后再根据图像特征，尽量使得图像统计特征太相似的图像只保存一个 对文本文档检索的多样性 是否可以把文档按不同的主题分簇组织，输出结果从每簇当中均选； 按文档的元数据特征，如时间、长短，地域等进行选择 对收集的文档集合进行clean，去除太相似或copy的文档 测试平台 ?检索性能的评价指标 测试集 检索性能评价的平台 TREC 中文Web测试集 CWT100g TREC文献集合（测试集、语料库） 测试文档集合、检索问题集合、答案集合 测试文档集合的语料来源: ?Wall Street Journal (华尔街时报) Associated Press（联合通讯社(简称美联社)） US Patents computer Selects, Ziff-Davis Federal Register US DOC Publications (abstracts) … 文档存放格式 doc docnoWSJ880406-0090/docno h1ATT Unreils Services to Upgrade Phone Networks Under Global Plan/h1 authorJanet Guyon(WSJ Staff)/author text American Telephone Telegraph Co. introduced the first of a new generation of phone services with broad… /text /doc CWT100g的Web文档存放格式 version: 1.0 // 版本号 url: / // URL origin: / // 原来的URL date: Tue, 15 Apr 2003 08:13:06 GMT // 抓取时间 ip: 2 // IP地址 unzip-length: 30233 // 如果数据经过压缩，则需有此属性 length: 18133 // 数据长度 // 空行 XXXXXXXX // 以下为数据 XXXXXXXX ?. XXXXXXXX // 数据结束 // 最后再插入一个空行 信息查询实例（主题） ?信息查询实例用自然语言描述 ?top num Number: 168/num titleTopic: Financing MATRAK desc Description: A document will address the role of the Federal Government in financing the operation of the National Railroad Transportation Corporation (AMTRAK) narr Narrative: A relevant document must provide information on the government’s … /top 各信息查询实例的相关文档集合 ?采用一种称为 pooling的技术来得到每一信息查询实例的相关文档集合。 pooling技术：针对某一信息查询实例，所有参与检索的系统分别给出各自检索结果中的前k个文档（如k=100），将这些结果文档汇集起来，得到一个可能相关的文档“池”（pool），然后由检索评价专家进行人工判断，最终评判每一文档的相关性。 已有的TREC评价实践表明，该方法产生的结果是准确的。 TREC的评价测度 11点标准查全率下的查准率（曲线或图） 计算给定文档临界值处的平均查准率， 如检出相关文档数为5、10、15、20、30、50、100时的平均查准率。 查准率直方图 概括表统计 * * * * * * * * * * * * * * * * * * * * * 第三章 检索评价 检索评测基础 检索评测基础: 建立在测试参考集和一定的评价测度基础之上。 测试集由一个文档集、一组信息查询实例、对应于每个信息查询实例的一组相关文档（由专家提供）所组成。 ?检索策略的评价 对一个给定检索策略S，对