一个有关评价的评价-智能技术与系统国家重点试验室信息检索课题组.PDF

一个有关评价的评价 一个有关评价的评价 ——信息检索系统评价技术的历史与现状 ——信息检索系统评价技术的历史与现状 智能技术与系统国家重点实验室智能检索组 智能技术与系统国家重点实验室智能检索组 刘奕群 2006年10月 刘奕群 2006年10月 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 • 信息检索系统评价的重新认识 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 – 信息检索的起源 – 信息检索的本质 – 多个角度看信息检索 • 信息检索系统评价的重新认识 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索的再认识 信息检索的再认识 • 信息检索的历史有多久？ – 从WEB诞生开始？ – 从个人计算机诞生开始？ – 从计算机诞生开始！ • 信息检索的起源 – 二次大战中，美国科学技术领头人之一的Vannevar Bush提 出了一个当时看来异常复杂的任务 – “the massive task of making more accessible the bewildering array of knowledge” （Bush, 1945, As We May Think） – 1950 年美国政府开始了对信息检索研究的资助 信息检索的再认识 信息检索的再认识 • 信息检索的本质使命 – 解决各个应用领域信息爆炸的问题 – 帮助人们进行在面向海量信息时的信息寻找、信 息发现、信息使用与信息交互工作。 – Calvin Mooers 1951 年第一次提出了IR的概念 • 信息检索是用户将其信息需求转换为有存储介质的引 用的列表的过程；它的范畴包括了信息的描述及其为 检索进行特化的过程。（Mooers, 1951） 信息检索的再认识 信息检索的再认识 • 多个角度认识信息检索（Harter, 1997） – 黑盒模型：输入信息需求，输出检索答案列表 – 交互模型：一个交互通讯过程 – 一个处理以物理形式存在的知识记录为主，而不 是处理人们头脑中知识的专家系统 – 一个依据网络信息组织结构进行导航、浏览的过 程 – 一个挖掘、发现与创新的过程 – 一个逻辑推理的过程 信息检索的再认识 信息检索的再认识 • 信息检索系统的评价与对信息检索系统的认 识程度紧密相关（Agosti, 1999） – 黑盒模型：基于对output 的评价 – 交互模型：信息传递有效性的评价 – 网络导航模型：能否满足导航浏览需求 – 专家系统模型：解决问题上的有效程度 – … 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 • 信息检索系统评价的重新认识 – 信息检索评价的起源 – 信息检索评价的不同层次 – 信息检索评价系统的组成 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索系统评价的重新认识 信息检索系统评价的重新认识 • 信息检索系统评价的起源 – 与信息检索系统一起被人重视 • Evaluation became central to RD in IR to such an extent that new designs and proposals and their evaluation became one. （Saracevic, 1995） – Kent 等人第一次提出了关于Precision和Recall （开始被称为relevance）的概念（Kent, 1955） 信息检索系统评价的重新认识 信息检索系统评价的重新认识 • 信息检索系统评价的起源（续） – Cra