基于聚类选择分类器集成.docVIP

基于聚类选择分类器集成 　　摘要：提出了一种基于聚类选择的分类器集成方法，通过聚类把模式特征空间划分成不相交的区域，对于初始分类器集合，各区域给出分类器的删除分值，各分类器总分值确定其删除优先级别，由删除优先级别选择一组分类器组成集成。理论分析和实验结果表明，基于聚类选择的分类器集成方法能够更好地对模式进行分类。 　　关键词：分类器集成; 聚类； 分类器选择； 差异性； 神经网络 　　中图分类号：TP18文献标志码：A 　　文章编号：1001-3695(2007)12-0085-03 　　 　　实际应用中总是希望设计的模式识别系统能获得最好的分类性能。为了实现这个目标，经典的方法是设计出一系列的分类器后，选择具有最好性能的分类器作为最终使用的分类器。然而，不同的分类器本质上提供了对模式分类的补偿信息，它们的集成有可能获得比单一分类器更好的性能[1]。因此，分类器集成[2]引起了研究人员的广泛关注，已经成为模式识别和机器学习领域的研究热点。 　　分类器集成比单个分类器更有效的充分必要条件是集成中的分类器不仅是精确的而且是错误差异的。一般构造满足上述条件的分类器方法有[2]：不同的分类器采用不同的训练数据；不同的分类器采用不同特征向量的模式表示；采用不同类型的分类器或对同一分类器采用不同的结构。显然可以同时使用几种方法生成分类器集成。对于神经网络分类器，Partridge[3]比较了各种方法生成错误差异分类器的能力，他指出不同的分类器采用不同的训练数据、不同的分类器采用不同的类型是其中最好的两种方法。 　　上述生成分类器集成的方法采取的是直接生成集成中个体分类器策略；生成的个体分类器不一定是错误差异的，即不同的个体分类器在特征空间产生的错误不一定分布在不同的区域。特别地，在集成中可能存在分类能力相似的分类器。对于一个实际的模式识别系统，在保证其分类能力的前提下，集成中个体分类器数目越少，系统的复杂性越低。既然直接策略不能得到最优的分类器集成，研究人员提出了另一种分类器集成设计策略――间接策略，即“过产生，再选择”（overproduce and choose）策略[4]。 　　对于间接策略，过产生阶段可以采用直接策略生成集成的各种方法生成集成中个体分类器；再选择阶段是对过产生阶段的优化，其目的是为了得到最好的分类器集成，即分类识别性能最好的分类器。因此识别的准确率或最小错误率是最直接的标准。由于认识到集成中个体分类器差异性与集成性能之间的关系，研究人员试图用差异性引导再选择阶段对分类器的选择[5]。对差异性量化的形式各种各样[6]，不同的差异性度量的性质以及它们之间的关系，特别是它们与集成性能的关系还需要进一步研究。既然用直接策略生成的集成中有可能存在性能相近的分类器，对集成中个体分类器进行聚类就有可能从集成中选取一部分分类器重新组成新的集成，并且其中的个体分类器性能各不相同。Giacinto和Roli[4]提出了一种基于分类器相关错误概率聚类的选择性集成方法，取得了较好的效果，他们把在过产生阶段生成的分类器成对进行考虑。但集成中个体分类器是一个整体，对各分类器分别进行考察不能体现它们的整体行为特性。为此，提出一种新的基于聚类的选择性分类器集成(classifiers ensemble based on clustering and selection，CECS)方法，既考虑了经选择形成的分类器集成中个体分类器的错误差异性，又考虑了集成行为的整体性。 　　 　　1基于聚类的选择性分类器集成 　　 　　分类器集成采用“过产生，再选择”的策略。假设经过过产生阶段已生成了一组分类器。为了使再选择阶段得到的分类器具有错误差异性，即不同的分类器产生的错误是不相关的，把特征空间划分成子区域，希望分类器错误出现在不同的子区域。 　　1．1特征空间划分 　　划分特征空间采用聚类方法，MacQueen[7]提出的k－均值算法是一个著名的聚类学习算法。它根据相似度距离迭代地更新向量集的聚类中心。当聚类中心不再变化或满足某些停止条件时，则停止迭代过程得到最终的聚类结果。k－均值算法的具体步骤为： 　　a)随机选择??k??个数据项作为聚类中心； 　　b)根据相似度距离公式，将数据集中的每一项数据分配到离它最近的聚类中去； 　　c)计算新的聚类中心； 　　d)若聚类中心未发生改变，算法结束；否则跳转到b)。 　　由于所选择的相似度距离公式的不同，k－均值算法所得到的聚类结果将存在较大的差异。为了简化讨论，本文采用欧氏距离作为k－均值算法的相似度距离公式。但值得注意的是，本文工作对其他距离公式同样适用。 　　1．2算法原理 　　经过对特征空间的划分，得到了??k个不同的模式区域，k的大小决定特征空间划分的粗细程