信息检索system的评价.ppt

提 问 1 试解释信息检索系统的内涵。 2 什么是”评价”？ 第十一章 信息检索系统评价 11.1 评价研究概述 一、意义 信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。 原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。 11.2 评价指标 问 题: 什么是查全率、查准率? 第十一章 信息检索系统评价 11.2 评价指标 问 题: 检索响应时间与哪些因素有关? 第十一章 信息检索系统评价 11.2 评价指标 二、主要性能指标及分析 2．响应时间 (4)存储设备类型和数据的存贮结构 存储设备的访问速度越快，数据的存贮结构（外存贮）越合理，检索越容易，响应时间也就越短。 (5)提问组配形式 检索式的构造需要有一定的专业技能和检索经验，是一个不断修改和完善的过程。 (6)信息中心与检索者的距离 通信传输时间与距离有关。 第十一章 信息检索系统评价 11.2 评价指标 二、主要性能指标及分析 ４．其它指标 （1）新颖率(Novelty ratio，N)：指一次检索中检出的相关文献有多少篇是新文献。（反映文献库更新程度） 检出的新的相关文献量 N = ———————————— 检出的相关文献总量 第十一章 信息检索系统评价 11.2 评价指标 二、主要性能指标及分析 ４．其它指标 （2）信息收录完备性(Coverage，C)：也称收录范围，是 指文献库复盖的学科范围、信息类型、数量和时间跨度。 给定时间内系统收录的文献总量 C = ————————————————- 同期相关领域中的实际文献量 谢 谢！ 第十一章 信息检索系统评价 11.1 评价研究概述 一、意义 评价（Evaluation）：发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为。 简单地说，评价就是对系统的价值和效率进行测评。 信息检索系统评价：根据给定的指标体系，采用一定的方法和程序，对信息检索系统的功能、特性和运营状况进行评测，或对有关假设、预期效益、性能值进行验证，以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进，乃至系统是否应生存下去。 第十一章 信息检索系统评价 11.1 评价研究概述 一、意义 主要意义： 了解已有检索系统的功能，找出缺陷并改进； 比较各种检索系统的优劣； 提高提高效率和效益； 有助于新的检索系统的设计； 丰富信息检索的理论。 第十一章 信息检索系统评价 11.1 评价研究概述 二、评价范围与类型 信息检索系统是一个有众多功能模块组成的集合体。 评价可以从不同角度、基于不同目的和方法来进行。 ? 评价范围：各种类型的检索系统及组成要素。 ? 评价类型： ? 宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。 ? 个别评价：仅对系统的某一性能、功能进行评价。 ? 性能评价(performance evaluation)：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价(effectiveness evaluation)。 第十一章 信息检索系统评价 11.1 评价研究概述 二、评价范围与类型 评价类型： ? 效益评价（benefits evaluation）：测定系统或用户获得的的经济效益和社会效益。 (有直接的、潜在的；难以直接计量) ? 费用/效果评价（cost effectiveness evaluation）：考察系统达到的性能与费用消耗之间的关系。（用户、系统两方面） ? 费用/效益评价（cost benefits evaluation）：考察系统的服务效益与费用消耗间的关系。（计量难度较大） (详见P207的解释) 第十一章 信息检索系统评价 11.2 评价指标 一、评价指标体系 要评价一个检索系统，必须有一套科学的评价标准。 建立检索系统评价指标体系应遵循的原则： 各指标应定义单一、明确，具有可操作性。 评价指标最好能够量化或计量。 指标要完善、细致、全面。 下面给出