第三章 息检索系统的评价.pptVIP

* * * 计算R准确率举例 假设有两个查询，第1个查询有50个相关文档，第2个查询有10个相关文档。某个系统对于第1个查询返回的前50个结果中有17个是相关的，对于第2个查询返回的前10个结果中有7个事相关的。分别计算查询1、查询2和查询集合的R准确率。 辈剂搬谴屈址入登驳涌否葱猿界帮逝岗崭灿眺桌振卒青良扁乒缺畴令撅疯第三章 信息检索系统的评价第三章 信息检索系统的评价 单值评价方法 准确率直方图 多个查询的R-Precision测度 用来比较两个算法的检索纪录 RPA-B=0:对于第i个查询，两个算法有相同的性能 RPA-B0:对于第i个查询，算法A有较好的性能 RPA-B0:对于第i个查询，算法B有较好的性能 甲啊音窖柠斤崭寞寝间消漾扮逗丑飘栋徘妥姓忠焚蚤侯杭光盼至围矮抬儡第三章 信息检索系统的评价第三章 信息检索系统的评价 单值概括 0.0 0.5 1.0 1.5 -0.5 -1.0 -1.5 1 2 3 4 5 6 7 8 9 10 Query Number 2 8 砍髓太愧宴喂隙狈昧阻黍揉反蔬氢洋凑镐诚疮拥谊蹄蒲遍让槽紫恰菩络怜第三章 信息检索系统的评价第三章 信息检索系统的评价 作业 假设查询q为一个给定的用户查询，与q相关的文档集合Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123} 通过某一个检索算法得到的排序结果： 1. d123 ? 6. d9 ? 11. d382. d84 7. d511 12. d483. d56 ? 8. d129 13. d2504. d6 9. d187 14. d1135. d8 10. d25 ? 15. d3 ? 要求1.分别计算检索到相关文档时的召回率和准确率，并绘制准确率/召回率曲线； 2.采用11点标准召回率方法计算召回率和准确率，并绘制插补后的准确率/召回率曲线； 3.计算MAP值； 4.分别计算检索返回前10个结果和返回前15个结果时的R准确率。 贼抖本二桂允帮窒森身惩形凄胆折爽香绎爬娩熔刀嗽溺钵铱篡彩赤柿定糙第三章 信息检索系统的评价第三章 信息检索系统的评价 测试集 (Test Collections) 组成要素 文件集 (Document Set; Document Collection) 查询问题 (Query; Topic) 相关判断 (Relevant Judgment) 用途 设计与发展: 系统测试 评估: 系统效能(Effectiveness)之测量 比较: 不同系统与不同技术间之比较 评比 根据不同的目的而有不同的评比项目 量化的测量准则，如Precision与Recall 奠示脂占慎匪阶希镀绑文爱墒误水庞蒲臭映哮粗顺鳞承盂烽脖议醒搜晶刃第三章 信息检索系统的评价第三章 信息检索系统的评价 国外的评测 TREC评测 文本检索会议（Text Retrieval Conference，TREC）是信息检索( IR) 界为进行检索系统和用户评价而举行的活动, 它由美国国家标准技术协会(NIST) 和美国高级研究计划局(DARPA)（美国国防部） 共同资助，开始于1992年。 NTCIR评测 NTCIR(NACSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Informatics，简称NII）主办的搜索引擎评价型国际会议 CLEF评测 CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展， CLEF的目标只在于跨语言信息检索以及多语言信息检索方面 巨禹悯谍醛尾遂獭焦爪珠门式趁暮匹直验突包鲁尔拎场相帆吃刨废恫嘘铝第三章 信息检索系统的评价第三章 信息检索系统的评价 TREC评测 TREC: Text REtrieval Conference (/) 1992年开始，每年一次 由美国国防部Defense Advanced Research Projects Agency (DARPA)和美国国家标准技术研究所National Institute of Standards and Technology (NIST)联合发起 参加者免费获得标准训练和开发数据 参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者 组织者对各参赛者的结果进行评