一个有关评价的评价-智能技术与系统国家重点试验室信息检索课题组.PDF

一个有关评价的评价-智能技术与系统国家重点试验室信息检索课题组.PDF

一个有关评价的评价-智能技术与系统国家重点试验室信息检索课题组

一个有关评价的评价 一个有关评价的评价 ——信息检索系统评价技术的历史与现状 ——信息检索系统评价技术的历史与现状 智能技术与系统国家重点实验室智能检索组 智能技术与系统国家重点实验室智能检索组 刘奕群 2006年10月 刘奕群 2006年10月 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 • 信息检索系统评价的重新认识 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 – 信息检索的起源 – 信息检索的本质 – 多个角度看信息检索 • 信息检索系统评价的重新认识 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索的再认识 信息检索的再认识 • 信息检索的历史有多久? – 从WEB诞生开始? – 从个人计算机诞生开始? – 从计算机诞生开始! • 信息检索的起源 – 二次大战中,美国科学技术领头人之一的Vannevar Bush提 出了一个当时看来异常复杂的任务 – “the massive task of making more accessible the bewildering array of knowledge” (Bush, 1945, As We May Think) – 1950 年美国政府开始了对信息检索研究的资助 信息检索的再认识 信息检索的再认识 • 信息检索的本质使命 – 解决各个应用领域信息爆炸的问题 – 帮助人们进行在面向海量信息时的信息寻找、信 息发现、信息使用与信息交互工作。 – Calvin Mooers 1951 年第一次提出了IR的概念 • 信息检索是用户将其信息需求转换为有存储介质的引 用的列表的过程;它的范畴包括了信息的描述及其为 检索进行特化的过程。(Mooers, 1951) 信息检索的再认识 信息检索的再认识 • 多个角度认识信息检索(Harter, 1997) – 黑盒模型:输入信息需求,输出检索答案列表 – 交互模型:一个交互通讯过程 – 一个处理以物理形式存在的知识记录为主,而不 是处理人们头脑中知识的专家系统 – 一个依据网络信息组织结构进行导航、浏览的过 程 – 一个挖掘、发现与创新的过程 – 一个逻辑推理的过程 信息检索的再认识 信息检索的再认识 • 信息检索系统的评价与对信息检索系统的认 识程度紧密相关(Agosti, 1999) – 黑盒模型:基于对output 的评价 – 交互模型:信息传递有效性的评价 – 网络导航模型:能否满足导航浏览需求 – 专家系统模型:解决问题上的有效程度 – … 信息检索系统评价技术 信息检索系统评价技术 • 信息检索的重新认识 • 信息检索系统评价的重新认识 – 信息检索评价的起源 – 信息检索评价的不同层次 – 信息检索评价系统的组成 • 信息检索评价方法的回顾 • 基于用户行为分析的自动评价系统 信息检索系统评价的重新认识 信息检索系统评价的重新认识 • 信息检索系统评价的起源 – 与信息检索系统一起被人重视 • Evaluation became central to RD in IR to such an extent that new designs and proposals and their evaluation became one. (Saracevic, 1995) – Kent 等人第一次提出了关于Precision和Recall (开始被称为relevance)的概念(Kent, 1955) 信息检索系统评价的重新认识 信息检索系统评价的重新认识 • 信息检索系统评价的起源(续) – Cra

文档评论(0)

1亿VIP精品文档

相关文档