基于VSM文本相似度计算研究.docVIP

基于VSM文本相似度计算研究 　　 (1. 华北电力大学 计算机科学与技术学院, 北京 102206； 2. 北京大学 计算机系, 北京 100871) 　　?? 　　摘要：文本相似度的计算作为其他文本信息处理的基础和关键，其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法和TD-IDF算法，一方面利用了DF算法具有线性的时间复杂度，比较适合大规模文本处理的特点，并通过适当增加关键词的方法，弥补了其对个别有用信息错误过滤的不足；另一方面，利用特征项在特征选择阶段的权重对TD-IDF方法进行加权处理，在不增加开销的情况下扩大了文档集的规模，还提高了相似度计算的精确度。 　　?す丶?词：文本相似度； 特征选择； 词频―逆文档频率法； 向量空间模型 　　?ぶ型挤掷嗪牛?TP391文献标志码：A 　　文章编号：1001-?B3695(2008)11-?B3256-?B03 　　?? 　　Similarity computing of documents based on VSM 　　?? 　　GUO Qing-lin??1,2, LI Yan-mei??1, TANG Qi??1 　　?? 　　(1.School of Computer Science Technology, North China Electric Power University, Beijing 102206, China; 2. Dept. of Computer Science Technology, Peking University, Beijing 100871, China) 　　?? 　　Abstract:The precision and efficiency of the computing of documents similarity is the foundation and key of other documents process. This paper improved the DF and TF-IDF arithmetic. In this way, DF’s time complexity was linearity that suited the mass documents process, and could make up the fault that exceptional useful characters might be deleted. Also, it did a mend on the TF-IDF arithmetic to improve the precision of documents similarity. 　　??Key words：documents similarity; feature selection; TF-IDF(term frequency-inverse document frequency); VSM(vector space model) 　　?お? 　　随着计算机的普及和网络的飞速发展,互联网上以及各种电子文档的数量以空前的速度增长,人们获取知识的途径也发生了深刻的变化。面对如此巨大的知识海洋，如何快速查找相关信息变得非常重要。如果没有有效的组织和提取方式，普通用户查找自己想要的信息所用的时间可能比了解信息本身所花费的时间还长，这是人们无法容忍的。文本相似度是表示两个或多个文本之间匹配程度的一个度量参数，相似度大，说明文本相似程度高，反之文本相似度低。对于文本聚类、信息检索、问答系统、网页去重、文本分类等很多领域，文本相似度的有效计算问题是其进行信息处理的关键。?? 　　1向量空间模型?? 　　向量空间模型（VSM）是20世纪60年代末由Salton等人提出来的，它是代数模型的一种，也是目前信息检索领域中广泛采用且效果较好的一种模型。其基本思想是：假设词与词之间是不相关的，以向量来表示文本，从而简化了文本中关键词之间的复杂关系，使得模型具备了可计算性[1]。在VSM中，将文档看成是相互独立的词条组(T1,T2,T3,…,Tn)构成，对于每一个词条Ti，根据其在文档中的重要程度赋予一定权值Wi，并将(T1,T2,T3,…,Tn)看成是一个n维坐标系中的坐标轴，(W1,W2,W3,…,Wn)为对应的坐标值。这样由(T1,T2,T3,…,Tn)分解得到的正交词条矢量组就构成了一个文档向量空间[2]。?? 　　2特征选择?? 　　特征选择就是根据一些标准从原始特征集中选择子集的过程。特征选择的任务就是选择对相似度计算真正有贡献的特征项，被选中的特征项应能表征原始文本的主题。?? 　　2??1常用的特征选择算