基于公共子串的文本相似度计算模型.pdfVIP

基于公共子串的文本相似度基于公共子串的文本相似度计算计算模型模型 基于公共子串的文本相似度基于公共子串的文本相似度计算计算模型模型 苏振魁，田园 大连理工大学软件学院，大连(116620) 656036696@ 摘 摘 要要：： 为了克服现有文本相似度计算模型过多关注词频，而较少关注词语在文本中出现顺 摘摘 要要：： 序的缺点，本文在基于向量空间模型的基础上，提出了一种基于公共子串的文本相似度计算 模型 (Common Substring Model,CSM)。CSM采用一种基于序差的方法求得两个文本中 所有 公共子串，然后利用由所有公共子串生成的公共子串矩阵，再结合向量空间模型 （Vector Space Model，VSM）中 TFIDF 方法，最后使用一种多级选择(利用最长公共子串的长度) 的算法来得到相似度计算结果。在 TREC9数据集上的实验表明 CSM优于 VSM。 关键词关键词：：文本文档；相似度；公共子串；向量空间模型； 关键词关键词：： 中图分类号中图分类号：：TP391.1 中图分类号中图分类号：： 1 引1 引 言言 1 1 引引 言言 文本相似度计算是文本聚类、文本分类、自然语言处理和信息检索研究中的一个基础 题，一直受到研究人员的关注。但由于每个人受到的教育程度以及思想观念的不同，所以同 样的两个文本在人的主观世界中引起的反映也是不同的，甚至对于处于不同时期的同一个 人，它们所产生的印象也不同。这就给文本相似度计算带来了很大难度。但是在实际应用中， 用户往往根据经验和自己的需要来判断文本相似度。在历史上，已经有很多的相似度计算模 型被提出了，例如：向量空间模型 （Vector Space Model,简称VSM）[1] [2] ，字符串相似度模 型[3] [4] ，文档结构相似度模型[5] [6] 。还有国内学者提出的一些方法：利用属性论来计算文本 [7] [8] 相似度的方法 、基于汉明距离的文本相似度计算方法 、基于语境框架的文本相似度方法 [9] 以及基于压缩稀疏矩阵矢量相乘的文本相似度计算方法[10]等等。目前主流的是VSM，它是 根据文本内容 (词频)来进行计算的。但是，它无法利用词语在文本的一定范围内的先后顺序 信息来区分文本，举例如下： A：某日，小王请小刘到小王家吃饭。 B：某日，小刘请小王到小刘家吃饭。 倘若，将A 和B两个文本同时放到某一个文本集合中，那么传统的向量空间模型将会判 断A和 B 两个文本的相似度为 1，即相同。但，显然A和 B所表达的意思是不同的。从这个 简单例子可以知道词语在文本中出现的先后顺序 （在一定范围内）和词频一样可以用于文本 相似度计算。如果将一个文本当作一个由词语组成的串，那么在一种极为简单的情况下，可 以认为两个串的公共子串就是词语出现的先后顺序的最直接的表现特征。因此，我们提出基 于公共子串的文本相似度模型 (Common Substring Model,CSM)。 2.文本相似度计算2.文本相似度计算模型模型 2.2.文本相似度计算文本相似度计算模型模型 下面我们先来介绍一下 VSM 模型以及其中的TFIDF 方法，然后给出详细的CSM 计算 方法。 2.1 VSM2.1 VSM 以及以及TFIDFTFIDF 方法方法 2.1 VSM2.1 VSM 以及以及TFIDFTFIDF 方法方法 VSM 以词语构造一个高维空间，每个词语为该空间的一个维，文本被看作这个空间中 的一个向量。 d d d T dx = (x1) , (x2) ,…, x (n) (1) 其中，n 是文本集合