基于频繁词集和复杂网络的文本聚类.pdfVIP

重庆大学硕士学位论文 中文摘要 摘 要 当今社会，网络社交已经变成了主流。人们通过微博热点、微信、头条新闻 等各种渠道可以获取各种文本资源。当网络上的文本越来越多的时候，文本挖掘 技术也逐渐被需要和重视。 本文主要是研究文本聚类领域，传统的文本聚类方法一般都是基于向量空间 模型的，而网络中的文本数量往往是数以百万，不计其数的。传统的向量空间模 型会导致文本维度过高和稀疏。针对这一问题，本文通过引入数据挖掘领域的频 繁词集概念来解决维度过高和文本稀疏问题，基于频繁词集的文本表示方法可以 对原始的高维文本进行降维处理。经过频繁词集表示文本后，本文引入复杂网络 概念，将原始文本集用文本网络的形式表达，在复杂网络中的文本不再是一对一 的关系，而是多对多的关系。而现实情况下，各个文本之间也应该是存在多对多 的联系的。因此，基于复杂网络模型的文本聚类比传统的文本聚类更能体现文本 之间的相互联系，更加充分的体现了文本之间的相似性。对文本网络用社区发现 算法进行社区划分，就可以将复杂的文本网络划分为一个个社区，而一个社区就 代表着聚类过程中的一个类簇。传统的社区发现算法一般是基于图分割理论、基 于模块度优化的算法模型。这些方法存在诸多的缺点，比如复杂度高，重复计算 等。因此本文引入机器学习中的概率算法模型，本文提出一种基于DPCA 改进的 k-means 算法来进行社区发现。结合DPCA 算法思想来确定k-means 算法中初始中 心节点以及k 值的选取。并且巧妙的将节点的度数来代替DPCA 算法中数据点的 密度。 最后，通过实验对比，本文所应用的算法对文本聚类的效果比传统的文本聚 类方法更好。 关键词：频繁词集；降维；文本网络；社区发现；文本聚类 I 重庆大学硕士学位论文 英文摘要 Abstract Nowadays, social networking has gone mainstream. There are various channels including microblog, wechat and headline news, to acquire abundant text resources. Web text mining gradually becomes needed and valued, as well as text clustering. This paper focuses on text clustering study. Traditional clustering methods based on the vector space model. Since the text quantity is counted by millions, which is countless, traditional VSM in most cases leaves us unproperly high text dimensionality and sparsity. This paper introduces the concept of ―Frequent Term Set‖ from data mining space to solve the problems. Based on the FTS, text representation can achieve dimensionality reduction. Then this paper introduces the second concept of ―complex internet‖. Under this concept, the primitive text sets are shaped by the text internet, thus