一种选择性神经网络集成构造方法.pdfVIP

一种选择性神经网络集成构造方法 吴建鑫 周志华 沈学华 陈兆乾 (南京大学计算机软件新技术国家重点实验室 南京 210093) 摘 要 提出一种选择性神经网络集成构造方法，在训练出个体神经网络之后，使用遗传算法选择部分 网络来组成神经网络集成。理论分析和实验结果表明，与传统的使用所有个体网络的方法相比，本文方法 能够取得更好的效果. 关键词 神经网络， 集成， 遗传算法 A Selective Constructing Approach for Neural Network Ensemble WU Jian-Xin ZHOU Zhi-Hua SHEN Xue-Hua CHEN Zhao-Qian (State Key Laboratory for Novel Software Technology ， Nanjing University ， Nanjing 210093) Abstract To improve the ability to generalize, in this paper, a selective constructing approach for neural network ensemble is proposed, in which genetic algorithm is used to select part of the trained individual networks to be ensembled. Theoretical analyses and experimental results show that this approach outperforms traditional ones that ensemble all of the individual networks. Key words neural network, ensemble, genetic algorithm 1 引言 神经网络技术已在很多领域得到了成功的应用，但是，由于缺乏严密理论体系的指导， [1] 其应用效果完全取决于使用者的经验.Hornik 等人 已证明，只需一个具有单隐层的前馈网 络就可以逼近任意复杂度的函数，但如何找到合适的网络配置却是一个 NP 问题.在实际应 用中往往很难找到理想的网络结构，这就影响了网络泛化能力的提高.1990 年，Hansen 等 人[2]提出了一种开创性的方法，即神经网络集成(neural network ensemble)，为上述问题的解 决提供了一个简易可行的方案.研究结果表明，神经网络集成方法不仅易于使用，还能够以 很小的运算代价显著地提高学习系统的泛化能力.因此，神经网络集成已成为目前神经网络 界的研究热点. 然而，设计一个好的神经网络集成并非易事.典型的一类神经网络集成构造方法分如下 两步执行[3]:首先训练一批神经网络，然后对这些网络的输出结论以某种方式进行结合，构 成神经网络集成.Krogh 等人通过理论研究发现，组成神经网络集成的各网络差异越大，集 成的效果越好. 由于在前述方法中，神经网络通常是各自尽可能独立地训练的，网络的差异 由使用的训练集、网络结构、学习算法的差异或者学习算法的随机性来产生，因此有可能 产生彼此非常相似的神经网络，这些神经网络对于整个神经网络集成泛化能力的提高可能 本课题得到国家自然科学基金 A)和江苏省自然科学基金(BK99036)资助. 吴建鑫，男，1978 年生，硕士生，主要研究领域为神经网络、机器学习。周志华，男，1973 年生，博士生，主要研究 领域为神经网络、机器学习、数据挖掘。沈学华，男，1977 年生，硕士生，主要研究领域为神经网 络、机器学习。陈兆乾，女，1940 年生，教授，博士生导师，主要研究领域为机器学习、知识工程、 神经网络。 第一作者 Email 地址：smalldust@263.net,