基于核独立分量分析模糊核聚类神经网络集成方法.docVIP

基于核独立分量分析模糊核聚类神经网络集成方法 　　摘 要:提出一种基于核独立分量分析的模糊核聚类神经网络集成方法。该方法首先采用核独立分量分析对高维数据进行特征提取;随后用模糊核聚类算法根据相互独立训练出的多个神经网络个体在验证集上的输出对其进行分类,并计算每一类中的所有个体在验证集上的泛化误差;然后取其中平均泛化误差最小的神经网络个体作为这一类的代表;最后经相对多数投票法得到集成的最终输出。实验结果表明,与其他集成方法相比,该方法具有较高的精确度和稳定性。 　　关键词:核独立分量分析; 特征提取; 模糊核聚类; 选择性聚类集成 　　中图分类号:TP18文献标志码:A 　　文章编号:1001-3695(2009)09-3318-03 　　doi:10.3969/j.issn.1001-3695.2009.09.033 　　 　　Neural network ensemble based on KICA and KFCM 　　LI Yan, WANG Dong-feng, HAN Pu 　　(School of Control Science Engineering, North China Electric Power University, Baoding Hebei 071003, China) 　　Abstract:This paper proposed neural network ensemble based on KICA and KFCM. First analyzed the data with high dimension patterns using KICA to extract main features. Then used the KFCM algorithm to classify the individual neural network training independent by its output on validate sample and calculated the generalization errors of neural networks in each category to the validate set, according to which the individual neural network whose generalization error was minimum in its category will be selected and combined the predictions of the component networks through majority voting. The experiments show that the proposed approach has higher accuracy and stability compared with other ensemble methods. 　　Key words:kernel independent component analysis(KICA); features extraction; kernel fuzzy C-means clustering(KFCM);selective clustering ensemble 　　 　　神经网络技术由于其具有自学习、非线性模式识别、联想能力、容错性以及很强的泛函逼近能力,已在很多领域得到了成功的应用,但由于缺乏严密理论体系的指导,其应用效果往往取决于使用者的经验。1990年,Hansen和Salamon开创性地提出了神经网络集成(neural network ensemble, NNE)的方法,证明可以简单地通过训练多个神经网络并将其结果进行合成,显著地提高神经网络系统的泛化能力。该方法易于使用且效果明显,被视为一种非常有效的工程化神经计算方法。 　　神经网络集成在解决高维数据的模式分类中普遍存在两方面问题:a)面对数据的大量特征信息,如何选取最具有价值、分类能力最强的特征;b)如何将多个神经网络的输出结论进行结合以及如何生成集成中的个体网络(包括如何有效地应用有限的样本集)[1]。对子系统结果的集成技术主要有多数投票法、简单平均值法、加权平均值法、基于遗传算法的进化集成技术等[2]。现有研究成果表明,当神经网络集成中的个体网络差异较大时,集成的效果较好。但如何获得差异较大的个体网络以及如何评价多个网络之间的差异度,目前仍没有较好的方法,而理论分析表明[3],对集成的个体进行必要的选择能够有效地降低神经网络集成的泛化误差。 　　核独立分量分析(KICA)通过非线性映射,实现数据从输入空