聚类分析综述.docVIP

聚类分析在实际中的应用综述 摘要：近几年来，模式识别技术在许多领域已得到或正得到卓有成效的应用。它所研究的理论和方法在许多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。聚类分析是非监督模式识别的重要分支，在模式识别、数据挖掘、计算机视觉以及模糊控制等领域具有广泛的应用，也是近年来得到迅速发展的一个研究热点本文聚类与分类的不同在于，聚类所要求划分的类是未知的。 　　聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。 　　从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。 　　从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。 　　从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以作为其他算法（如分类和定性归纳算法）的预处理步骤。 　　从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。 　　从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。 从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以作为其他算法（如分类和定性归纳算法）的预处理步骤。（1）直接聚类法 　　先把各个分类对象单独视为一类，然后根据距离最小的原则，依次选出一对分类对象，并成新类。如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类。每一次归并，都划去该对象所在的列与列序相同的行。经过m-1次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。 （2）最短距离聚类法 　　：最短距离聚类法，是在原来的m×m距离矩阵的非对角元素中找出 ，把分类对象Gp和Gq归并为一新类Gr，然后按计算公式 计算原来各类与新类之间的距离，这样就得到一个新的（m－1）阶的距离矩阵；再从新的距离矩阵中选出最小者dij，把Gi和Gj归并成新类；再计算各类与新类的距离，这样一直下去，直至各分类对象被归为一类为止。 （3）最远距离聚类法 最远距离聚类法与最短距离聚类法的区别在于计算原来的类与新类距离时采用的公式不同。最远距离聚类法所用的是最远距离来衡量样本之间的距离。.1 图书聚类分析 在进行图书聚类分析的过程中， 根据图书总计流通次数和当年流通次数对图书进行聚类分析。通过图书聚类分析可以得到哪些图书借阅频率较高，哪些图书借阅频率较低， 可以反映出馆藏图书的利用情况和读者对图书的兴趣， 从而制定出相应的决策， 有针对性地丰富馆藏资源和优化图书馆的馆藏布局。根据系统实际数据应用本文提供的K-均值改进算法进行图书聚类分析实验，步骤如下： 4．1．1 数据预处理 据统计， 数据预处理所花费的时间和成本占数据挖掘全过程的60%~80%， 其余的工作占20%~40%，由此可见，提高数据预处理的效率成为数据挖掘工作中的重中之重。数据预处理主要包括数据清洗、数据集成、数据转换和数据消减。根据数据预处理的方法， 结合论文所需要解决的问题可知，主要属性均不可以为空值。若这些相关属性出现空值， 将根据表的属性以及挖掘的内容将空值进行填充。 4．1．2 对图书数据进行聚类分析 在图书聚类分析过程中，设置聚类个数为3，采用K-均值改进算法对上面的图书被借阅次数进行聚类挖掘，可以得出图书聚类统计结果（表4）和图书聚类详细情况（表5）的数据。此挖掘结果中CLU_ID 字段中的1、2、3 分别表示利用率较高图书、利用率一般图书和利用率较低图书。图书聚类详表说明如下： 以第一条记录为例，