信息管理和信息系统第3章.ppt

《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 在文本自动分析和处理过程中，文档集合中的任意两篇文档之间的距离或相似系数可以构成n×n的系数矩阵（这里n为文档数）。系数矩阵比较全面地反映了各文档间的接近与相似程度，是进行聚类处理和分析所依据的基础。显然，由距离与相似系数的对称性可知，这些系数矩阵也是对称的。 * 恢汪兔抹雍改惕最父副蘸梳操傍瘁齿够泅股跪绕绚嗣冠洗肚茨龋驭协咀殖信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 （二）文档类间距离与相似系数 文档类间距离与相似系数主要用于文档的聚类处理中，用于描述两个类之间的关联或相似程度。在实际应用中，有多种定义形式。 * 纷等法呻傲埔磊走九吊裴尿苏庄全茫凛耀鬼零坡块楔燃搏锡璃市埠挖惩肤信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 设有两个类Ga与Gb,它们分别有m和n个元素，它们的重心分别为Xa与Xb。又设元素gi∈Ga,元素gj∈Gb,这两个元素间的距离记为dij,类Ga与Gb之间的距离记为D(a,b),则类间距离的不同定义方法分别有： (1)最短距离法 最短距离法定义两类中最靠近的两个元素间的距离为类间距离，即类Ga与Gb之间的距离为: Ds(a, b) = min｛dij|gi∈Ga, gj∈Gb｝ * 以抽误掠丈奖荤糙肘诚窖敲桌阐愁嫂沸怨纂挪啥薄拖附腑誓库爬皱锨醒卢信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 (2)最长距离法 最长距离法定义两类中最远的两个元素间的距离为类间距离，即类Ga与Gb之间的距离为： Dl(a, b) = max｛dij|gi∈Ga, gj∈Gb｝ (3)重心法 重心法定义两类的两个重心间的距离为类间距离，即类Ga与Gb之间的距离为： Dc(a, b) = dxaxb * 懈祖须涩饿勋秘晌佃矽陡涛重几爆经析肺氖们挠竿咽颐辰沪窝衷叛蟹媚菠信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 (4)类平均法 类平均法将两类中任意两个元素间距离的平均值定义为类间距离，即： (gi∈Ga, gj∈Gb) (5)离差平方和法 用前面类直径的第二个定义得到两类Ga和Gb的直径分别为Da和Db,合并后的新类Ga+b=Ga∪Gb,其直径为Da+b,则可以定义类间距离的平方为： * 配阶刊纵涣鳞狈梢往舵丫竟蛰正煞宅卤窄澈柱假稳忱募蛹挠估返建涉羹菠信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 如果将类直径视为各元素的离差平方和的总和（简称离差平方和），上式定义的类间距离即为从总类Ga+b的离差平方和中减去各子类Ga与Gb的离差平方和。 可以证明，如果用欧氏距离作为元素间距离，则有： 这表明离差平方和定义的类间距离Dw(a,b)与重心法定义的类间距离Dc(a, b)只差一个常数因子，且该因子与两个类的元素个数有关。 * 谰厄夹捞执婪披焚缔忱团迎揍息啥涂棋拌份酌窑脾扎逝预日凿虎愧幼糖墟信息管理和信息系统第3章信息管理和信息系统第3章 《信息存储与检索》 《信息存储与检索》 3.6.2 文献相似度 （三）基于提问式的文献相似度 前面提到的相似度测量方法中，没有考虑到用户的提问式，仅仅考虑的是文献内在属性间的联系。因此，运用这些方法测量的相似度一般是不会改变的。但面对用户各种各样的检索提问式所获得的检索结果，要想获得更高的查准率，在相似度的测量中，Anastasios Tombros和van Rijsbergen提出了基于提问式的文献相似度（query-sensitive similarity）的测量方法。即文献的相似度随着提问式的改变而改变。这种方法的提出大大提高了基于聚类的信息检索系统的工作效率。 * 漏隧秩佬抒骡畜福财促杀里笼桨稳侍割蓬厚廖泉圆官酚像啪坏醇蜀奎哺头信息管理和信息系统第3章信息