基于划分与层次的文本聚类分析-计算机软件与理论专业论文.docxVIP

山东师范大学硕士学位论文 山东师范大学硕士学位论文 目录 摘要 I ABSTRACT III 第一章 绪论 1 1.1 选题背景与研究意义 1 1.2 文本聚类的研究现状 3 1.3 研究中存在的问题 4 1.4 本文的主要研究工作 5 1.5 本文的内容安排 5 第二章 文本聚类算法基础理论 7 2.1 聚类的定义 7 2.2 主要聚类算法分类 7 2.2.1 基于顺序的聚类算法 8 2.2.2 基于层次的聚类算法 9 2.2.3 基于函数最优化的聚类算法 11 2.2.4 其他的特殊聚类技术 13 2.3 文本数据集 13 HYPERLINK \l _TOC_250001 Reuters21578 数据集 14 HYPERLINK \l _TOC_250000 20_NewsGroup 数据集 14 WebKB 数据集 14 TDT 数据集 14 OHSUMED 数据集 14 2.4 本章小结 15 第三章 文本聚类关键技术 16 3.1 分词 16 3.2 STEMMING 18 3.3 停用词处理 19 3.4 空间降维 19 3.5 文本表示方法 22 3.6 相似性度量 23 3.7 本章小结 24 第四章 基于可变阈值的 K-MEANS 聚类器 25 K-MEANS 算法简介 25 VTK-MEANS 算法 28 4.3 VTK-MEANS 算法时间复杂度分析 29 4.4 实验结果与分析 30 4.5 本章小结 33 第五章 引入信息增益的层次聚类器 34 5.1 CURE 算法 35 5.2 信息增益 36 5.3 IG-CURE 算法 37 5.4 实验结果与分析 37 5.5 本章小结 40 第六章 总结与展望 41 6.1 本文主要创新和贡献 41 6.2 下一步工作 42 参考文献 43 攻读硕士学位期间发表的论文46 致 谢 47 摘要 目前以文本形式存在的有用信息越来越多，因此怎样快速并高效的聚类与分类这些大 规模的文本信息变得越发重要。针对这一问题，文本的自动聚类和自动分类技术应运而生。 文本聚类技术是将文本划分到不同的类别中去，是在结合了机器学习和统计方法的理论基 础上的，已经得到了较为广泛的实际应用，并且已经能够较好的解决海量文本信息归类的 问题。目前在文本聚类研究领域中，主要有文本的表示以及聚类器算法两个研究热点。针 对于文本表示方面，文本数据经过预处理通常会获得具有较大稀疏性以及高维性的文本表 示空间，并会导致文本聚类质量的下降和效率的降低。在聚类器的算法中，文本聚类器主 要有 K-Means 算法、K-Medoids 算法、CURE 算法、BIRCH 算法、DBSCAN 算法等，如 何将这些算法进行改良，使得它们更适合于提高文本聚类的质量和效率，也是现在研究的 热点问题。本文首先在绪论部分对文本聚类的产生背景、基础理论和研究进展情况进行了 简要介绍，随后详细介绍了在文本聚类技术中常用聚类算法的基本信息，主要包括有算法 思想、种类以及它们的理论依据等，以及文本聚类算法的常用公认数据集以及文本聚类算 法的结果评价标准，并详细介绍了文本聚类流程中所使用到的关键技术。其中本文在深入 研究和分析文本聚类的研究现状以及目前针对文本聚类的研究中所彰显的问题的基础上， 将研究重点放在了两个问题上：一是如何设法对文本聚类的算法进行优化，从而使文本聚 类中的聚类器性能得到提升；二是通过充分的对比实验来对本文提出改进方法是否具有预 期的有效性进行验证。 本文开展完成了以下工作： (1) K-Means 算法作为最为常用的文本聚类算法之一，具有算法复杂度相对比较低， 并且算法实现简单等优点，但它也有较明显的缺点：算法在聚类初始中心的选择上过于敏 感，原始算法中所使用的随机选择初始聚类中心点的方法，会导致聚类器性能不稳定，针 对于 K-Means 算法的这个缺点，本文提出了基于可变阈值的 K-Means 聚类初始中心选择方 法，在选择初始聚类中心点时，会依次选择距离已有初始中心点的距离大于一个不定阈值 的样例作为下一个新的初始聚类中心点，并根据满足条件的初始聚类中心点的个数对该不 定阈值进行适当调整，直至获得满足条件的阈值以及初始聚类中心点，再进行聚类操作。 在 10 个 UCI 数据集和 4 个文本数据集上的实验结果显示，该算法性能明显优于原 K-Means 算法。 (2) 层次聚类分析作为数据挖掘和模式识别领域中非常重要的研究课题之一，同样具 有非常广阔的应用前景。受启发于决策树学习中对最佳分类属性的选择，本文提出了一种 新的引入信息增益的层次聚类算法，该算法通过引入的信息增益方法对样例的的属性进行 加权操作，进而对原始层次聚类算法进行指导，由此来提高聚类结果的质量。在 10 个 U