信息检索8评测.pptxVIP

第8讲 检索评价结果摘要 Evaluation Snippets;提纲;提纲;4;5;6;堆结构;8;本讲内容;提纲;关于评价;从竞技体育谈起;为什么要评价IR？;IR中评价什么？;如何评价效果？;评价任务的例子;评价的几部分;提纲;评价指标分类;评价指标分类;回到例子;整个文档集合的划分;评价指标;四种关系的矩阵表示;基于集合的图表示;回到例子;课堂提问：另一个计算例子;正确率和召回率的应用领域;关于正确率和召回率的讨论(1);关于正确率和召回率的讨论(2);课堂提问：;正确率和召回率的问题;问题一：召回率难以计算;;课堂提问;问题二：P和R需要融合;37;38;39;40;41;问题三：P、R没有考虑结果的序;引入序的作用;P-R曲线的例子;P-R曲线;P-R 曲线的插值问题;P-R曲线图;P-R曲线的优缺点;基于P-R曲线的单一指标;P-R曲线中的break point;引入序的作用;不考虑召回率;回到例子;评价指标分类;评价指标;回到例子;课堂提问;整个IR系统的P-R曲线;几个IR系统的P-R曲线比较;关于相关性;面向用户的评价指标;其他评价指标;其他评价指标;近几年出现的新的评价指标;Bpref;原始定义;特定情况;最新定义;思考：怎样对评价指标进行评价？;GMAP;GMAP;NDCG;NDCG;NDCG;NDCG;NDCG;NDCG;另一种NDCG的计算方法;关于评价方面的研究;提纲;TREC 概况;TREC的目标(1);TREC的目标(2);TREC的运行方式(1);TREC的运行方式(2);TREC的运行方式(3);TREC的运行方式(4);测试数据和测试软件;TREC任务情况;历届TREC参加单位数示意图;参加过TREC的部分单位;TREC中名词定义;Topic的一般结构;Topic示例;使用Topic的方式;评测方法;相关性评估过程(1);相关性评估过程(2);其他评测会议;TRECVID (TREC VIDeo);MUC (Message Understanding Conference);ACE(Automatic Content Extraction);DUC(Document Understanding Conference);其他评测;105;106;107;108;109;110;111;112;113;关于评价的可信度;提纲;116;117;118;119;120;121;122;123;124;IR系统评价实验设计;实验方案设计中要考虑到的问题;过拟合 (Over-fitting);示例：过度描述随机误差;过拟合;评价方案;测试数据;测试语料与查询;统计测试 (Statistical Test);比较下列两组“提高”;统计测试;本讲小结;137;课后练习