K-means聚类分析.pdf

K‐means 聚类分析     主要的聚类算法可以分为以下几种：划分聚类、层次聚类、密度型聚类、网  格型聚类和基于模型的聚类。     划分聚类算法把数据点集分为 k 个划分，每个划分作为一个聚类。它一般从  一个初始划分开始，然后通过重复的控制策略，使某个准则函数最优化，而每个  聚类由其质心来代表(k‐means 算法)，或者由该聚类中最靠近中心的一个对象来 代  表(k‐medoids 算法)。划分聚类算法收敛速度快，缺点在于它倾向于识别凸形分布  大小相近、密度相近的聚类，不能发现分布形状比较复杂的聚类，它要求类别数  目k 可以合理地估计，并且初始中心的选择和噪声会对聚类结果产生很大影响。  主要的划分聚类算法有 k‐means，EM，k‐medoids，CLARA，CLARANS 等。      下面主要介绍 K‐means 聚类方法。  k‐means 算法首先随机选择 k 个对象，每个对象代表一个聚类的质心。对于其  余的每一个对象，根据该对象与各聚类质心之间的距离，把它分配到与之最相似  的聚类中。然后，计算每个聚类的新质心。重复上述过程，直到准则函数会聚。  通常采用的准则函数是平方误差准则函数(squared‐error criterion)，即  k 2    E   p m   i 1 p Ci E 是一个数据集中所有对象的误差平方和，P 是一个对象，mi 是聚类 Ci 的质心， 即  q qC i               m   i C i k‐means 聚类算法的具体步骤如下：  ①从数据集中选择 k 个质心 C1，C2，…，Ck 作为初始的聚类中心；  ②把每个对象分配到与之最相似的聚合。每个聚合用其中所有对象的均值来  代表，“最相似”就是指距离最小。对于每个点Vi ，找出一个质心 Cj，使它与其 间  的距离 d(Vi,Cj)最小，并把 Vi 分配到第 j 组；  ③把所有的点都分配到相应的组之后重新计算每个组的质心 Cj；  ④循环执行第②步和第③步，直到数据的划分不再发生变化。  该算法具有很好的可伸缩性，其计算复杂度为 O(nkt)，其中，t 是循环的次数。  K‐means 聚类算法的不足之处在于它要多次扫描数据库，此外，它只能找出球形 的  类，而不能发现任意形状的类。还有，初始质心的选择对聚类结果有较大的影响，  该算法对噪声很敏感。    问题探究      近年来，数据挖掘成为越来越热的一个研究方向，而聚类(clustering)作为数 据挖掘的主要方法之一，也越来越引起人们的关注。所谓聚类，就是把大量的 d 维数据对象(n 个)聚集成 k 个聚类(kn)，使同一聚类内对象的相似性尽可能最大， 而不同聚类内对象的相似性尽量达到最小。也就是说，形成聚类之后，同一个聚 类内对象具有很高的相似性，而与不属于该聚类的对象有迥然的差异(即不相似)。 聚类与分类相比，分类算法分析的是类别已知的数据集，而聚类算法分析的是类 别未知的数据。  聚类的输入是一组未分类的记录，而且事先也不知道要分成几类，它通过分  析数据，根据一定的分类准则，合理划分记录集合，从而确定每个记录所属的类  别。不同的聚类算法中，用于描述相似性的函数也有所不同，有的采用欧氏距离  或马氏距离，有的采用向量夹角的余弦，也有的采用其他的度量方法。  当预先不知道类型数目，或者用参数估计和非参数估计难以分辨不同类型的  类概率密度函数时，就需要采用聚类分析。有些聚类分析算法可以自动地确定类  型的数目 k，而不必以预知 k 为前提条件，也可以给定 k 作为算法的终止条件若 没有给定 k，那么如何在聚类过程中自动地确定 k，这是聚类分析中的一个关键 问题。  确定 k 值的方法很多，具体哪种较好还有待探究。基于自组织特征神经网络 （SOM ）的聚类分析是其中的一种解决方案。  自组织特征神经网络简介      在人类的神经系统及脑的研究中，人们发现:人脑的某些区域对某种信息或  感觉敏感，如人脑的某一部分进行机械记忆特别有效;而