聚类有效性评价总结.docVIP

聚类有效性评价总结 　　摘要：在聚类分析应用中，迫切需要一种客观公正的质量评价方法来评判聚类结果的有效性。为此，从外部评价法、内部评价法和相对评价法三个方面，归纳综述了常用的聚类有效性评价方法，并讨论了模糊聚类评价法和聚类最佳类别数的自动确定问题。 　　关键词：聚类；聚类评价；有效性指数 　　中图分类号：TP311文献标志码：A 　　文章编号：1001－3695(2008)06－1630－03 　　 　　聚类分析是数据挖掘过程中的一种重要手段和工具，它可以发现隐含在数据集中的簇，标志出感兴趣的分布或模式。聚类问题是将一组对象分成若干个簇或聚类，使簇内的对象尽可能具有最大的相似性，不同簇之间的对象尽可能有最大的相异性。聚类过程可以看做是一种无监督的学习过程，因为没有预先定义的分类或示例来表明数据集中哪种期望的关系是有效的，多数聚类算法依靠假设和猜测进行。如何用一种客观公正的质量评价方法来评判聚类结果的有效性是一个困难而复杂的问题。广义上讲，聚类有效性评价包括聚类质量的度量、聚类算法适合某种特殊数据集的程度，以及某种划分的最佳聚类数目[1]。常用的聚类有效性评价方法有外部评价法、内部评价法和相对评价法[2~4]。外部和内部评价法均基于统计测试，具有较高的计算复杂性，这些方法中的有效性指数是为了度量一个数据集与预先已知结构的相符程度。相对评价法寻求一个聚类算法在一定假设和参数下能定义的最好聚类结果。此外，还有一类针对软（模糊）划分的聚类评价方法，称之为模糊聚类有效性度量[3~5]。在聚类性能评价方法中，某些有效性指数能够求得具有最佳聚类数目的划分[1, 5~11]。这也是目前聚类评价的应用热点之一。?? 　　 　　1聚类评价方法?? 　　 　　1．1外部评价法?? 　　外部评价方法意味着评判聚类算法的结果是基于一种预先指定的结构。这种结构反映了人们对数据集聚类结构的直观认识。每个数据项的分类标记已知。下面介绍两种常用的外部评价法。?? 　　1）F－measure它组合了信息检索中查准率（precision）与查全率（recall）的思想来进行聚类评价。一个聚类j及与此相关的分类i的precision与recall定义为[12]?? 　　 　　文献[16]在研究KFCM聚类算法的有效性准则时，将XB、FS、CWB等六个著名的模糊有效性指数推广到高维特征空间，得到其对应的核化形式。?? 　　 　　2聚类有效性评价的应用?? 　　 　　聚类是一种无教师的学习，没有关于分类的先验信息，按照相似性准则把数据划分成各种不同的类别。但在大多数聚类算法中，需要用户事先输入希望产生的簇的个数，这使聚类结果带有一定的主观性和人为误差。而在聚类性能评价的研究中，聚类有效性问题经常可转换为最佳类别数的自动确定。?? 　　Halkidi等人在文献[1]中利用SD有效性指数评价一个聚类算法以不同输入参数得到的不同划分，从而选取具有最佳聚类个数的聚类结果。?? 　　自组织映射（self－organizing map,SOM）聚类是由Kohonen教授提出的一种无监督的聚类方法。它由全互连的输入层和竞争层组成，模拟人脑的处理过程，通过若干个单元竞争当前对象来实现聚类。Ressom等人提出自适应双SOM（ADSOM）模型[8]，具有灵活的拓扑结构和可视化优势，不需要关于聚类数目的先验知识，利用基于树的评价指数确定聚类数目。文献[9]用例子说明了SD指数可以求得最佳SOM聚类个数。Wu等人将多代表点评价指数[6]，不仅用做全局寻求输入数据的最好划分数目，而且局部用于确定层次SOM聚类算法两邻域簇的合并[10,11]。?? 　　笔者在文献[7]中提出基于聚类有效性指数的蚁群聚类算法，利用基于多代表点的评价指数CDbw[6]自动求得最佳聚类数目；同时，用其局部有效性指数减少孤立点。?? 　　文献[5]探讨了用修正的划分模糊度指数如何确定数值型数据和类属型数据聚类中的最佳类别数。 　　 　　3结束语?? 　　 　　聚类性能评价是聚类分析中的一个重要研究课题，其不得不面对的主要困难是聚类后，怎样评价返回的聚类结果的质量？然而，迄今为止，还没有一个对所有应用领域都普遍适用的评价方法，聚类评价方法往往与特定应用问题、采用的聚类算法等因素有关。探索更加成熟、行之有效的聚类有效性度量方法，是今后努力的方向。?? 　　 　　参考文献： 　　［1］HALKIDI M,VAZIRGIANNIS M,BATISTAKIS Y.Quality scheme assessment in the clustering process[C]//Proc of the 4th Eur Conf Principles and Practice