信息存储与检索课件作者王知津第9章节.ppt

第九章 信息检索评价与实验 本章目录 第一节 引言 信息检索系统评价的内容包括：资源的收录状况、数据的质量、检索的功能与效率、系统的功能以及检索结果的反馈形式等。 第一节 引言 检索的功能与效率的评价主要考察检索入口能否满足用户的需求，检索的组配是否丰富，查准率和查全率是否得当，检索的响应速度如何等。 检索功能和效率与检索算法有密切的关系，由于检索算法难以分辨出优劣，因此，可以通过检索界面、查全率和查准率以及检索响应时间等来判断检索的效率。 第一节 引言 近年来，信息检索评价研究已从系统的输入方面的特性逐渐向检索者输入方面的特性转移，开始注重研究检索专家的特性（如教育背景、经验、个性等）与检索成功率之间的关系。有些评价者还考察了采用不同检索键所引起的变化，例如，分别用题名关键词、文摘关键词、叙词、原文中的词，或者分别用主题词与引文对相同的课题进行检索时，检索结果之间的差异。 第一节 引言 整体而言，信息检索评价活动范围扩大了，评价水平在不断提高，积累了大量有价值的试验或调查数据，初步揭示了检索系统及其各组成部分的运行机制及对系统性能的影响。不过需要指出的是，就目前状况而言，我们对用户需求相关性判断和系统行为的本质方面的探索还显得不足，有些评价方法还需要进一步完善，评价结果的解析和验证也有待进一步深入和加强。 第二节 信息检索相关性理论 9.2.1 相关性概念及其特征 （一）相关性的概念 相关性问题的出现：1958年，著名学者B.C.Vickery在 ICSI（the International Conference for Scientific Information）上的两篇会议论文引发对“相关性”概念的最初讨论，“相关性”问题由此得到明确提出。 所谓“相关性判断”，是指信息检索中判断者在某一时刻对某种相关性的一种赋值操作。这个定义中包含了相关性判断的四个基本组成要素，分别是：相关性类型、判断者类型、判断时间和判断结果表达方式。 9.2.1 相关性概念及其特征 相关性类型，指基于何种相关性进行判断； 判断者类型，指实施判断的主体，通常分为用户（user）与非用户（non-user）两大类，其中，用户指检索系统的真实用户，非用户则包括检索系统设计者、检索中介等在内的各类人员； 判断时间，很明显在不同的时间点，相关性判断的结果可能是不同的，所以判断时间也是相关性判断的基本组成要素； 判断结果的表达方式，指对相关性的赋值方法。 9.2.1 相关性概念及其特征 （一）相关性的特征 1 关系 2 直觉 3 多维 4 动态 9.2.2 影响相关性判断的变量 （一）文献与文献表示 文献与文献表示是检索的对象，对人的相关性判断有直接影响。人们比较了题名、题录、文摘和全文对相关性判断的不同影响，分析了文献的风格和内容专指性与相关性判断的联系，发现：文献的主题内容是影响判断的最重要因素。文献内容愈具体，愈有利于相关性判断。文献的风格也可能影响判断。对同一文献，分别根据其题名、题录、文摘、全文来判断与特定提问的相关性，判断结果有差异。 9.2.2 影响相关性判断的变量 （二）提问 提问促使文献作为答案输出、提问的专指性，判断者在不同研究阶段的知识状态以及提问的措辞等方面对判断均有影响。判断者对提问本身了解越多，对提问与答案的推断越深入，判断的一致性就越高。提问文本与相关文献文本之间似乎存在着较高的相似性和关联性，而在提问与非相关文献文本之间却未发现这种相似性。此外，判断者对提问本身知道得愈少，判断文献为相关的倾向性就愈大。 9.2.2 影响相关性判断的变量 （三）判断环境与条件 这里主要指判断时间、人们对相关性的解释及其它环境因素。一些实验发现：实验条件的变化可能导致判断的变化；判断环境中的压力（如时间紧迫感）越大，会导致相关率越高；对相关性的不同解释并不一定导致不同的相关率。 9.2.2 影响相关性判断的变量 （四）判断表达模式 这个变量是指供判断者用来表达判断的方式或手段，如文献相关性的等级划分、分支设置方法等。一些实验发现：不同的相关性分级方法对判断差异影响很小：分级越多，判断越方便；问卷方式对表达判断较有利；对一组相关度较高的文献，及时判断者的背景不同，也可望使判断达到显著的一致性。 9.2.2 影响相关性判断的变量 （五）判断者的特性 这里主要指判断者的教育程度，特别是专业教育水平和身份。一些试验发现：判断者的专业知识越高深，相关性判断的一致性就越好；高级专业人员的判断一致度为0.55-0.75，情报服务人员为0.45-0.60；专业知识越少，相关性判断就越宽大；非专业人员（如图书情报人员）倾向于赋予较高的相关性比例；文献利用目的不同，可能会产生判断差异；判断相关不同于判断非相