基于混合文本集的文本聚类方法研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master Document Clustering Based on Hybrid Text Candidate: Lin Hairong Supervisor: Prof. Wu Guohua March, 2016 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取 得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写 过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文 或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印 件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存论文。(保密论文在解密后遵守此规定) 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州 杭州电子科技大学硕士学位论文 摘要 文本聚类是在无监督条件下对文本集进行划分的过程。K-means 算法作为划 分聚类中最典型算法之一，具有算法简单、伸缩性强的优点，对于大规模文本集 的聚类有较高的效率。但 K-means 算法在处理包含长文本和短文本的混合文本集 时，由于提取特征向量维度要求一致，短文本提取信息冗余，长文本信息损失严 重，导致聚类效果不佳。同时，文本集中孤立点的存在和初始中心点局部优化的 问题，也会影响聚类效果。 为解决上述问题，通过研究和对比各类聚类算法，提出了三种改进算法：基 于混合文本集的 K-means 文本聚类算法、基于距离的孤立点检测改进算法、基于 距离的初始中心点选择改进算法。 实验表明，基于混合文本集的 K-means 文本聚类算法，解决了处理混合文本 集的问题，提升混合文本集的聚类性能，并加快算法的运行速率；基于距离的孤 立点检测改进算法，解决了在聚类前必须预设孤立点个数的问题，使在不提供孤 立点个数的情况下，能够准确地输出孤立点，并分析出每个孤立点的孤立强弱程 度；基于距离的初始点改进算法，解决了密度分布不均时初始中心点的问题，使 在密度分布不均匀的文本集中，能够输出理想的初始中心点。 关键词：混合文本集、K-means 算法、文本聚类、文本指纹 I ABSTRACT Document clustering is the process of grouping similar texts into a set of clusters. K-means is the partitioning clustering method for its efficiency and simplicity in clustering large data set. However, it has a poor clustering effect on dealing with a hybrid text set which contains long text and short text. K-means algorithm requires the same dimension of the extracting feature vector, which leads to the redundancy of short text, and the serious message losses of long text . Meanwhile, the existence of isolated points in text set and the local optimization of initial centroids also affect the clustering result. To solve the above problems, three improved algorithms were proposed: K-means clustering algorithm based on hybrid text, improved algorithm for distance-based outliers detection, and im