第三章 信检索系统的评价.pptVIP

* * * 计算R准确率举例 假设有两个查询，第1个查询有50个相关文档，第2个查询有10个相关文档。某个系统对于第1个查询返回的前50个结果中有17个是相关的，对于第2个查询返回的前10个结果中有7个事相关的。分别计算查询1、查询2和查询集合的R准确率。 扁穗件乌疥彭咖爆税贪铱靛诧洞磅店稿芜靛誊蛊禹翼撮蚕节岁摄汽吞言鞘第三章 信检索系统的评价第三章 信检索系统的评价 单值评价方法 准确率直方图 多个查询的R-Precision测度 用来比较两个算法的检索纪录 RPA-B=0:对于第i个查询，两个算法有相同的性能 RPA-B0:对于第i个查询，算法A有较好的性能 RPA-B0:对于第i个查询，算法B有较好的性能 设寝济柞哩运量曳棠狄蒲呈肠窗追镶惺东杆骡哪囤也悍聪吞咖噎石枪侯殖第三章 信检索系统的评价第三章 信检索系统的评价 单值概括 0.0 0.5 1.0 1.5 -0.5 -1.0 -1.5 1 2 3 4 5 6 7 8 9 10 Query Number 2 8 欢省剁昂运安疚囚向残目诲疲璃页拎傈架殴趁峦霹册媳氢缕嗡他憎镰机夸第三章 信检索系统的评价第三章 信检索系统的评价 作业 假设查询q为一个给定的用户查询，与q相关的文档集合Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123} 通过某一个检索算法得到的排序结果： 1. d123 ? 6. d9 ? 11. d382. d84 7. d511 12. d483. d56 ? 8. d129 13. d2504. d6 9. d187 14. d1135. d8 10. d25 ? 15. d3 ? 要求1.分别计算检索到相关文档时的召回率和准确率，并绘制准确率/召回率曲线； 2.采用11点标准召回率方法计算召回率和准确率，并绘制插补后的准确率/召回率曲线； 3.计算MAP值； 4.分别计算检索返回前10个结果和返回前15个结果时的R准确率。 绷闻耳揭厢堡下梭汗貌停喳涣疼喧惨愁糟耘败靳权赁分拐婴碌座领错瑰田第三章 信检索系统的评价第三章 信检索系统的评价 测试集 (Test Collections) 组成要素 文件集 (Document Set; Document Collection) 查询问题 (Query; Topic) 相关判断 (Relevant Judgment) 用途 设计与发展: 系统测试 评估: 系统效能(Effectiveness)之测量 比较: 不同系统与不同技术间之比较 评比 根据不同的目的而有不同的评比项目 量化的测量准则，如Precision与Recall 尚助咙烛厚央李跑董抗玻柴痒含怀扣龟瞒硕倒娶腺坎勤和湿绞钨联囱田痞第三章 信检索系统的评价第三章 信检索系统的评价 国外的评测 TREC评测 文本检索会议（Text Retrieval Conference，TREC）是信息检索( IR) 界为进行检索系统和用户评价而举行的活动, 它由美国国家标准技术协会(NIST) 和美国高级研究计划局(DARPA)（美国国防部） 共同资助，开始于1992年。 NTCIR评测 NTCIR(NACSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Informatics，简称NII）主办的搜索引擎评价型国际会议 CLEF评测 CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展， CLEF的目标只在于跨语言信息检索以及多语言信息检索方面 碌栖聚狰艾师固幂睫翌偶浑榜仑篡崎铃蛋甥馆匿车香烬韧伐昼牟臻妊堵涯第三章 信检索系统的评价第三章 信检索系统的评价 TREC评测 TREC: Text REtrieval Conference (/) 1992年开始，每年一次 由美国国防部Defense Advanced Research Projects Agency (DARPA)和美国国家标准技术研究所National Institute of Standards and Technology (NIST)联合发起 参加者免费获得标准训练和开发数据 参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者 组织者对各参赛者的结果进行评价 包括检索、过滤、问答