第三章信息检索系统的评价.ppt

* * * * * * * * * * * 计算R准确率举例 假设有两个查询，第1个查询有50个相关文档，第2个查询有10个相关文档。某个系统对于第1个查询返回的前50个结果中有17个是相关的，对于第2个查询返回的前10个结果中有7个事相关的。分别计算查询1、查询2和查询集合的R准确率。 单值评价方法 准确率直方图 多个查询的R-Precision测度 用来比较两个算法的检索纪录 RPA-B=0:对于第i个查询，两个算法有相同的性能 RPA-B0:对于第i个查询，算法A有较好的性能 RPA-B0:对于第i个查询，算法B有较好的性能 单值概括 0.0 0.5 1.0 1.5 -0.5 -1.0 -1.5 1 2 3 4 5 6 7 8 9 10 Query Number 2 8 作业 假设查询q为一个给定的用户查询，与q相关的文档集合Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123} 通过某一个检索算法得到的排序结果： 1. d123 ? 6. d9 ? 11. d382. d84 7. d511 12. d483. d56 ? 8. d129 13. d2504. d6 9. d187 14. d1135. d8 10. d25 ? 15. d3 ? 要求1.分别计算检索到相关文档时的召回率和准确率，并绘制准确率/召回率曲线； 2.采用11点标准召回率方法计算召回率和准确率，并绘制插补后的准确率/召回率曲线； 3.计算MAP值； 4.分别计算检索返回前10个结果和返回前15个结果时的R准确率。 测试集 (Test Collections) 组成要素 文件集 (Document Set; Document Collection) 查询问题 (Query; Topic) 相关判断 (Relevant Judgment) 用途 设计与发展: 系统测试 评估: 系统效能(Effectiveness)之测量 比较: 不同系统与不同技术间之比较 评比 根据不同的目的而有不同的评比项目 量化的测量准则，如Precision与Recall 国外的评测 TREC评测 文本检索会议（Text Retrieval Conference，TREC）是信息检索( IR) 界为进行检索系统和用户评价而举行的活动, 它由美国国家标准技术协会(NIST) 和美国高级研究计划局(DARPA)（美国国防部） 共同资助，开始于1992年。 NTCIR评测 NTCIR(NACSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Informatics，简称NII）主办的搜索引擎评价型国际会议 CLEF评测 CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展， CLEF的目标只在于跨语言信息检索以及多语言信息检索方面 TREC评测 TREC: Text REtrieval Conference (/) 1992年开始，每年一次 由美国国防部Defense Advanced Research Projects Agency (DARPA)和美国国家标准技术研究所National Institute of Standards and Technology (NIST)联合发起 参加者免费获得标准训练和开发数据 参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者 组织者对各参赛者的结果进行评价 包括检索、过滤、问答等多个主题 TREC测试集 文档集合 英语文档集合 非英语文档集合 文档内容：主要来自报纸、新闻及政府文档 文档格式：采用SGML标记语言进行标记 主题 对检索系统用户的信息需求进行仿真，称为主题 相关性判断 文档格式 DOC DOCNOWSJ880406-0090/DOCNO HLATT Unveils Services to Upgrade Phone Networks Under Global Plan /HL AUTHORJanet Guyon (WSJ staff) /AUTHOR TEXT American Telephone Telegraph Co. introduced the first of a new generation of pho