国家科技创新平台规划教材.pptVIP

信息获取技术的评估（Retrieval Evaluation） 李晓明，北京大学信息科学技术学院 2004年12月2日 提 要 引言 常用的评估指标 评估的实践（评测） 引言 关于IR领域 文本?技术?系统?用户（普通，大量） 文本语义的丰富性（以及文本集合本身的变化），用户需求的多样性，模型的简单化 系统表现的终极评判在于它们所针对的用户群的评价（大量，长时间） 对系统的评估常常是基于对所包含各项技术评估基础上的 无论是从研究方法还是工程实践的角度，我们都需要能够评估各个单项技术对系统行为可能的贡献 更进一步地，若能将设计指标和评价指标结合起来则最好 System = t1 + t2 +…+ tl 系统包含若干技术，t 某人发明了一个新的 t，评价它的方式: 用它替换系统中的相应技术，看对总的效果的贡献 单独在一个评测环境中评价 前者往往代价较高（时间，费用） 例如研究搜索引擎排序算法的不一定有机会摆弄真正的，有大规模用户的搜索引擎 后者可能和真实系统应用有距离 能对这距离有把握也行 评估（技术，系统） 用户关心（系统的）：F={f1, f2, …, fn} 相关性，新颖性，完整性，速度，… 但代价等原因使完整的评估比较困难 我们要确定（技术的）：G={g1, g2, …, gm} 较小的代价能完成对它们的测试 对它们测试的结果和f1, f2, …, fn有很好的对应 最好