基于VSM和LDA混合模型文本聚类研究.docVIP

基于VSM和LDA混合模型文本聚类研究 　　摘要：在当今的时代，网络文本的数量正在迅速增长。文本的分析仍然是当今一个热门话题。由于传统的VSM模型在使用时会出像数据的纬度太高，缺乏对潜在语意理解等问题，导致最终的聚类结果的精确度不够高。鉴于此，提出了VSM和LDA的文本聚?的混合模型，通过对文本的处理，筛选，统计的方法得到特征词权重的集合，随后分别计算VSM模型和LDA模型相似度，通过将两个相似度进行线性相加的方法相结合，得到混合相似度，然后通过K-means算法进行文本聚类，分别得到VSM模型、LDA模型和混合模型的聚类结果，通过统计与分析得到最后的实验结果。实验结果表明，该混合模型是有效。 　　关键词：聚类； 相似度； LDA； VSM； K-means 　　中图分类号：TP312 文献标识码：A 文章编号：1009-3044（2018）01-0035-04 　　Abstract：In todays world， the number of online texts is rapidly growing. Text analysis is still a hot topic today. As the traditional VSM model will appear as the data latitude is too high， the lack of potential semantic understanding and other issues， resulting in the accuracy of the final clustering results are not high enough. In view of this， a hybrid model of text clustering of VSM and LDA is proposed， and a set of feature weights is obtained through text processing， screening and statistics， and then the similarity between the VSM model and the LDA model is calculated respectively. Degree of linear sum of the method to get mixed similarity， and then through the K-means algorithm text clustering， respectively， the VSM model， LDA model and the hybrid model of the clustering results obtained by statistical analysis and the final experimental results. Experimental results show that the hybrid model is effective. 　　Key words： Clustering； Similarity； VSM； LDA； K-means 　　1 概述 　　随着21世纪科技的飞速发展，人们日常生活中的信息呈现一种爆炸式的增长方式，同时大量的信息开始堆积。对于这些大规模且无序的文本信息，如何挖掘出其中的最有价值的信息一直是自然语言处理领域的一个重点研究课题。作为一种无监督的学习方法，聚类[1-2]可以将大量未知文本信息按照一定的方式划分为最理想的簇。它使在同一个簇的对象尽可能的相似，不同集群簇中的对象尽可能地增加。通过从文本集合中找到这些信息的分布，就可以大规模的减少搜索的范围。最后通过筛选可以找到目标信息。 　　早期使用最多的文本模型是模型矢量空间模型（VSM），使用词作为特征项，使用TF-IDF值来加权特征词，将文本转换成一个，纬度高，稀疏性强的矩阵。虽然这种模型可以很方便地提取文本特征，但是问题也随之出现，高纬度和高稀疏性也产生了严重的效率问题，同时该模型在使用时也忽略了文本中潜在的含义，导致可能有内在联系的文本无法被发现，从而减少了信息的价值。 　　随着越来越多的研究者的对文本聚类的研究，近年来，已经有不少的研究这将潜在狄利克雷模型（LDA）用在文本聚类中。LDA模型的优点首先在于它具有极其丰富的内部结构，使用的是概率算法来训练模型。第二LDA可以起到很好的降维作用，适合大规模语料库。所以，LDA模型在许多领域都被使用[3-6]。在本文中，LDA模型用于对主题进行建模，并将语料库映射到每个主题空间，以便我们可以在文本中找到主题与单词之间的关系。然