一种同时聚类学习与分类学习算法.pdfVIP

基于聚类的图像分割和分类器设计的研究 第六章 同时实现聚类学习和分类学习的一般框架 6.1 单目标同时的聚类学习和分类学习框架 6.1.1 引言 现有的结合数据结构信息的分类器设计通常包含两步：聚类学习＋分类器设 计。根据聚类过程是否利用监督信息，聚类方法可分为：无监督型聚类和监督型聚 类。相应地，基于聚类的分类器设计可分为：无监督型聚类＋分类器设计和监督型 聚类＋分类器设计。其中 RBFNN[60]，FRC[62]，RFRC[113]和 EFRC[114]属于前者；而 VQ+LVQ3[64]，CCAS[68, 69]及其扩展算法 ECCAS[70]都属于后者。 这些算法的共同之处是，聚类学习和分类学习是分开进行的，也就是，先完成 聚类学习，然后利用获得的聚类信息构造分类器。这种分裂的设计方式使得这些算 法往往只单纯地强调一种学习方式，而将另一种学习方式做为辅助工具，因而，无 法在一个框架下真正地融合聚类学习和分类学习各自的好处。此外，这些方法虽然 部分地揭露了聚类结构和类别之间的关系，但缺乏概率意义，无法给出准确的相关 信息。 为了弥补上述方法的缺点，本小节提出了单目标同时聚类学习和分类学习的框 架（Simultaneous Clustering Learning and Classification Learning ，SCC)，旨在同一个 框架中融合上述两种学习方法的优势。从聚类的观点来看，该框架提供了有监督聚 类的结果，能够可靠地揭示数据的潜在结构；同时，从分类的观点来看，该框架构 造了有效的分类学习机制，可以获得较好的分类结果。与 RBFNN ，FRC ，VQ+LVQ3 等上述算法相比，SCC 最显著的不同之处在于以一步的方式而不是两步的方式实现 两种学习。在 SCC 的设计中，我们使用贝叶斯理论和聚类的类后验概率来构造聚 类和类别之间的概率关系矩阵 P 。利用这个 P，可以使得最终得到的聚类和分类结 果都只依赖于聚类中心，换句话说，只要聚类中心确定，不仅输入空间的聚类划分 可以确定，而且对测试样本的分类机制也相应地确定。因而，通过优化嵌在 SCC 目标函数的聚类中心，就可以在一个框架下同时实现聚类学习和分类学习。由于矩 阵 P 可以反映出聚类和分类之间的统计关系，因此，我们可以从 P 中挖掘出很多有 意义的信息，从而使得分类器的设计趋于透明。例如，可以根据 P 的元素值获知生 成的聚类是否纯，数据中的类别是由单个聚类构成、还是多个聚类构成等。更进一 步地说，为了算法的应用范围更为广阔，聚类或分类结果要尽量具有鲁棒性，也就 是说，聚类或分类结果要能抵御野值或噪声的影响。在 SCC 中，聚类过程在类信 72 南京航空航天大学博士学位论文 息的指导下进行，因而可以避免野值点的不利影响；在此基础上，基于无偏的聚类 结果所构造的分类机制也可以有效地克服野值的影响。在 SCC 框架下，使用不同 的距离度量可分别导出SCC1 和 SCC2。具体地，通过引入欧式距离，可以导出 SCC1， 但该算法无法处理非球状的数据分布。为了提高 SCC1 的适应能力，通过引入核诱 导出的距离度量导出 SCC2。 简单地说，SCC 框架的贡献在于：（1）设计出有效透明的分类机制；（2 ）在监 3 ）自适应地揭示聚类和类 督信息的指导下，鲁棒地聚类数据并生成较纯的聚类；（ 别间的概率关系。为了说明 SCC 框架的优越性，表 6.1 给出 SCC 和上述方法的性 能比较。 表 6. 1 算法性质的比较 实现监督聚类 实现基于聚类的分类 揭示聚类和类别间的概率关系 RBFNN √ FRC √ RFRC √ EFRC √ VQ+LVQ3 √