基于神经网络集成的复杂分类问题研究.docVIP

  基于神经网络集成的复杂分类问题研究# 田津，李敏强，陈富赞* （天津大学管理与经济学部，天津 300072） 5 10 15 20 25 30 35 40 摘要：本文针对复杂分类问题，提出了一种基于协同进化的神经网络集成算法，每个个体网 络对应一个协同进化的子种群，每个种群中的个体适应值需要其他子种群的精英个体协助求 得，采用多目标优化方法评价个体适应值。通过种群间协同进化操作，实现集成各个体网络 独立进化和个体网络间相互影响。实验结果表明，该算法能同时满足神经网络集成精度的提 高和集成中个体差异性的增强，在处理复杂分类问题时性能优越。 关键词：神经网络集成；协同进化；多目标优化；分类 中图分类号：TP183 An Neural Network Ensemble Model for Complex Classification Problems TIAN Jin, LI Minqiang, CHEN Fuzan (College of Management and Economics, Tianjin University, Tianjin 300072, P.R. China) Abstract: This paper presents a novel neural network ensemble algorithm for cmplex classification problems using a cooperative coevolutionary algorithm (Co-CEA). Each individual network in the ensemble corresponds to a subpopulation in the Co-CEA. With the divide-and-cooperative mechanism, the individual networks evolve in their subpopulations and collaborate with each other to form the ensemble model. The multiobjective algorithm is adopted to evaluate the fitness of individuals. Experimental results demonstrate that the proposed algorithm can build the ensemble model with higher prediction capability than conventional ones. Thus the proposed algorithm is efficient and predominant in the complex classification problems. Key words: Neural Network Ensemble; Coevolution; Multiobjective optimality; Classification 0 引言 面对电子商务、知识管理等领域的高维复杂数据分类问题，设计性能良好的分类算法以 适应数据的复杂结构和不均匀分布等特点，成为数据挖掘的重要任务之一。神经网络集成 （Neural Network Ensemble, NNE）通过利用有限个神经网络对同一个问题进行学习，集成 对某输入样本的输出由构成集成的各神经网络在该样本的输出共同决定，以获得比单个神经 网络更强的泛化能力，近年来受到广泛重视[1]。 本文提出一种基于多种群协同进化的神经网络集成算法，通过 Bootstrap 方法产生不同 的训练子集，训练生成不同的个体网络，利用合作型协同进化算法进行协同进化操作。每个 个体网络对应一个协同进化的子种群，各子种群独立进化，每个子种群中的个体适应值需要 其他子种群的精英个体协助求得。算法将具有最大输出值的个体网络所判断的分类类别作为 该样本最终的分类类别。 1 集成算法研究现状 随着集成学习技术成为机器学习的研究热点之一，很多研究者提出了各种不同的算法。 基金项目：高等学校博士学科点专项科研基金资助课题（No.20090032120073, No.20090032110065, No.20100032120086） 作者简介：田津（1979 年-），女，副教授，主要研究方向：商务智能与电子商务，数据挖掘与进化算法. E-mail: jtian_tju@ -1-   根据个体学习器生成方式的不同，目前的集成算法可大致分为两类：一类算法是以 Boosting 为代表，顺序生成个体学习器；另一类则以 Bagging 为代表，