基于层次的模糊K均值聚类算法研究.pdfVIP

2010 年 安阳师范学院学报 47 基于层次的模糊 K 均值聚类算法研究 苏瑞 (广东商学院经济与管理实验教学中心，广东广州 510320) [摘 要]通过对 K均值聚类算法的研究，本文提出了一种基于层次聚类与模糊聚类思想的 K均值聚类算法。算法 首先使用层次方法对数据进行初始聚类，然后用得到的聚类数作为模糊 K 均值聚类中的 K值，对聚类进行修正。最后 通过实验，验证了该算法不需要人为假设聚类算法中的 K值，而且引入了模糊隶属关系使类别的划分更接近于事实，从 而证明了该算法的有效性。 [关键词]层次;模糊;聚类;K- 均值算法 [中图分类号]1凹93.02 [文献标识码]A [文章编号] 1671 -5330(2010)02 -α问7 -04 0 引言 聚类是数据分析中的一项重要技术，是众多 科学领域和工程技术中的一项基础性工作。聚类 分析被广泛应用于生物学、天体物理学、模式识 别、决策支持、数据挖掘、图像处理、最优化问题 等。所谓聚类是把 d 维特征空间中的 N个数据点 分成 k 个不同的类，使类内数据点的相似度高、不 同类之间的数据点的相似度低[1-4]。这里的相似 在特征空间中表现为距离近，所以距离可以用来 对 2 个数据点进行相似性测度。目前已提出的聚 类算法有很多，这些算法可以被分为基于划分方 法、基于层次方法、基于密度方法、基于网格方法 和基于模型方法。 K- 均值聚类是在各个领域用得最多的聚类 算法之一。它的主要特点是:对给定的数据集可能 存在的类数目需要作出假设;对用来代表某类的 类中心需要在迭代计算前做初始化;迭代计算出 的类中心容易陷入某些满足局部最优的值中。可 以看出，设定恰当的类数目和初始化合适的类中 心是 K- 均值聚类算法中的关键[判。本文通过在 K- 均值聚类的基础上引人层次聚类来设定恰当 的聚类数目、通过引人模糊隶属关系，使每→ 个样本点以一定的概率属于某一类别、并且可以 通过隶属度这个自由参数来控制不同类别的提合 程度。 [收稿日期 ]2010 -01 -05 1 K- 均值聚类 K - MEANS算法作为运用最多的一种传统的 聚簇方法，其工作流程如下:首先，随机地选择 K 个对象，每个对象初始地代表了一个簇的平均值 或中心。对剩余的每个对象，根据其与各个簇中心 的距离，将其赋给最近的簇。然后重新计算每个簇 的平均值，求出新的簇中心，再重新聚簇。这个过 程不断重复，直到准则函数收敛。该算法运行效率 较高，但缺点在于只能处理数值型数据、不能处理 分类数据，对例外数据非常敏感，不能处理非凸面 形状的聚簇[6] 。如果选取的初始聚类中心不合适， 将不仅影响收敛速度，还有可能使算法陷人局部 最优[7] oK- 均值聚类就是目前广泛应用的C均值 聚类，其核心思想是:将 n 个向量 (X1 , X2…X/..Xn ) 分成 C个组(G1 ， G2 ， …q…GJ ，并求 每组的聚类中心 C; ， 使得距离指标的价值函数达 到最小。选用欧几里德距离作为组 i 中向量 Xk 与 相应聚类中心 C; 之间的非相似性指标，价值函数 定义为:J=ZZGhk-ci|尸。这样，组内的价 值函数的值依赖于组的几何特性和类中心位置。 划分后的组一般通过一个 C*N 的二维隶属矩阵 来定义。如果第j个数据点 Xj 属于组 i ， 则 U 中的 元素 U.j 为 1 ;否则，该元素取 0。由此得到:对每个 [作者简介]苏瑞(1980 -)，女，硕士，主要从事计算机网络技术应用，数据挖掘。 2010 年 -巧 11 2。通过将该代价函数最小化可以得到聚类 中心[~l 。在此函数中 ， b 是模糊度，是一个用来控 制不同类别的混合程度的自由参数。按照文献 [8] 中对于该参数的研究可知，在实际应用中，模 糊度的最佳取值范围为[1. 5 ， 2.5] 。将代价函数最 小化，可以得到模糊划分矩阵:以及 安阳师范学院学报 k 乎正 i ， 如果当时 11 不i - C i 11 2 ~至 11 X j - Ck 11 2 , Uij = 1 ;其它情况下 Uij = 0。其中， C. 为聚类中心。 48 模糊 K- 均值聚类2 模糊 K- 均值聚类的目标也是迭代计算类中 心。它的代价函数通常表示为 Jh = L L P! 11 X i 如果 11 X i - 马 11 =。 如果 11 Xi - Ck 11 = 0 计算目标代价函数 J得到模糊划分矩阵和聚 类中心 //输出聚类中心 在高校学生的日常管理中，学生考评与优秀 学生的选拔都是很重要的内容。当前在高校中流 行的考评方法是根据学生的学业成绩和平时表现 按照百分制进行打分，然后对分数进行简单的加 权平均，井根据总成绩进行排名。随着素质教育的 不断推进，以及