基于PCA和K均值聚类有监督分裂层次聚类方法.docVIP

基于PCA和K均值聚类有监督分裂层次聚类方法 　　摘要：提出了一种新的基于PCA和K－均值聚类的有监督二叉分裂层次聚类方法PCASHC，用K－均值聚类进行逐次二叉聚簇分裂，选择PCA第一主成分相距最远样本点作为K－均值聚类初始聚簇中心，解决了K－均值聚类初始中心随机选择导致结果不确定的问题，用聚簇样本类别方差作为聚簇样本不纯度控制聚簇分裂水平，避免过拟合，可学习到合适的聚类数目。用四组UCI标准数据集对其进行了10折交叉验证分类误差检验，与另外七种分类器相比说明PCASHC有较高的分类精度。 　　关键词：数据挖掘； 机器学习； 有监督聚类； 分裂层次聚类 　　中图分类号：TP301文献标志码：A 　　文章编号：1001-3695(2008)05-1412-03 　　 　　0引言?? 　　 　　聚类分析依照物以类聚原理将研究对象分组，可以提供样本分布的结构信息，是一种重要数据挖掘方法，在自然科学和社会科学中得到广泛应用。经典聚类方法是无监督学习方法，要预先指定聚簇数目，如果聚簇数目不正确，无法得到正确聚类结果。因此正确的聚簇数目是很重要的聚类参数和样本结构信息，从样本特征数据中学习到合适的聚簇数目意义重大。?? 　　K－均值聚类方法和层次聚类方法都需要提供正确的聚簇数目。前人曾用逐步增加聚簇数目的K－均值聚类或层次聚类方法寻找正确的聚簇数目，但拐点不明显时无法使用[1]。?? 　　为了通过数据挖掘从样本特征数据中学习到正确的聚簇数目，可以利用带有类别标签的样本进行有监督聚类。有监督聚类因有样本类别标签分布信息的教师监督信号，极大地降低了信息的不确定性，工作效率较高，分类结果为明确的真实类别，能反映出子类等样本分布结构。?? 　　有监督聚类的目的是找出划分样本为聚簇内样本纯度大而数量尽可能少的聚簇聚类方案。现有多种形式，如学习向量量化网络[2,3]、基于划分和增量的动态聚类方法[4，5]、支持向量机[5]等。学习向量量化网络在竞争学习网络中按分类结果对错进行奖惩来调整权值学习。基于划分和增量的动态聚类方法常用聚簇内类别不纯度惩罚指标最小化方法。支持向量机结合样本类别的约束信息，通过核函数非线性映射到高维希尔伯特空间，使其在新的空间中同类样本相聚一起，异类样本分离加大，可以用超平面划分，实现有监督聚类。这些方法在要求指定聚簇数目、学习及分类效率和提供显式的子类分布结构信息上各有长短。?? 　　K－均值聚类（又称C－均值聚类）是一种普遍采用的基于划分的动态聚类方法，是在选定的相似性距离度量和评价聚类结果质量的准则函数基础上给定某个初始分类后，用迭代算法找出使准则函数取极值的最好聚类结果[1]。其最佳初始划分尚无解决良方，现多用随机方法，有较大不确定性。?? 　　非监督的增量逐次K－均值聚类法有时可以学习聚簇数目。它是通过逐渐增加聚簇数目K和进行K－均值聚类法，直到评价聚类结果质量的准则函数值对K的变化率达到一个拐点时停止，此时的K作为正确的聚类数目。如果没有明显的拐点，则此法失效。?? 　　层次聚类分析也是一种普遍采用的主要聚类方法[1,6,7]，用指定的样本相似性距离度量和聚簇间相似性距离度量，用合并或分裂手段，把样本从每个样本自成一簇到所有样本全为一簇的多级层次聚簇树，但要靠人为指定聚簇数目等参数来将其划分为若干子聚簇。?? 　　合并层次聚类算法计算复杂度较大，为固定的O(N??2)，只能用于中小样本学习;分裂层次聚类法可用K－均值聚类法等基于划分的动态聚类方法进行分裂，计算复杂度随样本分布情况而变化，最好时与K－均值聚类法相同，为O(N)，多数近于O(N log??2(N))，极为罕见的极端分布最差时为O(N??2)。因为是在已有聚簇基础上进行继续分裂，所以比每次从头开始的增量逐次K－均值聚类法计算量要小。?? 　　用有监督逐步增加聚簇数目的K－均值聚类或层次聚类方法可以找到正确的聚簇数目，但合并层次聚类方法计算复杂度较大。因K－均值聚类初始化困难而多用随机初始化，带来了K－均值聚类结果不确定问题。?? 　　为此本文提出了一种新的有监督聚类方法，即主成分有监督层次聚类方法(PCA supervised hierarchy clustering,PCASHC)。它用聚簇内样本不纯度作为停止分裂的准则函数进行逐次二叉层次分裂，以聚簇样本类别方差作为不纯度测度，聚簇分裂用两类K－均值聚类方法，用PCA第一主成分进行确定性初始化的K－均值聚类，消除了通常K－均值聚类因随机初始化引起的聚类结果不确定性，可学习到合适的聚簇数目，学习效率较高。用多组UCI标准数据对其进行了检验，其结果与其他七种分类器比较，证明此方法有较高的分类精度。?? 　　 　　1原理和算法?? 　　 　　1．1原理??