信息检索技术 三章 信息检索评价.pdfVIP

信息检索的评价 1 1.1 概述  第二章介绍了各种信息检索模型，怎样才能知道 哪些技术在那些应用中有效？哪些技术在那些应用中有效？  信息检索系统的评价测试集，由三部分组成：  一个文档集合个文档集合 ；  一组用于测试的信息需求的集合，信息需求可以表 示成查询示成查询 ；  一组相关性判定结果，对于每个查询-文档对而言， 通常会赋予通常会赋予一个个二值判断结果值判断结果 ，相关或相关或不相关相关。 2 1.2 测试集文档的人工相关性判定  常规的IR系统评价方法是围绕相关和不相关的概 念展开的念展开的。  对于每个用户的信息需求，人工将文档集中的每 篇文档给出判定结果：相关或者不相关篇文档给出判定结果：相关或者不相关。这些判这些判 定结果称为相关性判定的黄金标准(gold standard)standard)或或绝对真理绝对真理(groundtruth)(groundtruth)。  在构建测试集时，测试集中的文档及信息需求的 数目必须合理数目必须合理。对于每对于每一个给定的信息需求个给定的信息需求 ，一 般要求最少有50条相关文档。 3 1.3 信息需求和查询  人工给出文档集中文档的相关性判定结果是基于 信息需求而不是查询的信息需求而不是查询的。  信息需求：Whetherdrinkingredwineismore effectiveatreducingyourriskofheartattackseffectiveatreducingyourriskofheartattacks thatdrinkingwhitewine.  查询：查询：WineANDredANDwhiteANDheartWineANDredANDwhiteANDheart ANDattackANDeffective.  一篇满足信息需求的文档是相关的篇满足信息需求的文档是相关的 ，但这并不是但这并不是 因为它碰巧都包含查询中的这些词。  PPyththon：宠物蛇或者编程语言宠物蛇或者编程语言PPyththon?? 4 1.4 信息检索的评价与系统开发  许多信息检索系统都包含许多的权重参数，改变 这些参数能调整系统的性能这些参数能调整系统的性能。  直接在测试集上调参不可取，这会导致参数过训 练的问题练的问题。  通常将测试集分为两部分，一部分用于参数调整 （开发集（开发集，ddevellopmentset）），一部分用于测部分用于测 试最终的检索性能（测试集，testset）。 5 2. 标准测试集  TREC  文本检索会议（文本检索会议（TextRetrievalConferenceTextRetrievalConference ， TREC）是信息检索界为进行检索系统和用户评价 而举行的活动而举行的活动,它由美国国家标准技术协会它由美国国家标准技术协会(NIST)(NIST) 和美国高级研究计划局(DARPA)（美国国防部） 共同资助，开始于共同资助，开始。年。  最著名的测试集：1992-1999年最早的8次，总共 由由66张张CDCD组成，包括组成，包括189189万篇文档、万篇文档、450450个信息需个信息需 求及相关性判定结果。 