BP网络的改进算法简介.docVIP

人工神经网络(Artificial Neural Network ,ANN) ,自从20 世纪50 年代Rosenblatt首次将单层感知器应用于模式分类学习以来,已经有了几十年的研究历史. 但是由于Minsky 和Papert 指出单层系统的局限性,并表达了对多层系统的悲观看法,在20 世纪70 年代对ANN 的研究兴趣减弱. 直至80 年代中期Rumelhart 等重新阐述了反传训练方法,使得在ANN领域的理论和应用研究开始在世界范围内重新兴起.ANN 是一种按照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型,它具有并行处理、自适应自组织、联想记忆、容错鲁棒以及逼近任意非线性等特性,在预测评估、模式识别、信号处理、组合优化及知识工程等领域具有广泛的应用. 近年来,已有多种ANN 模型被提出并得以深入研究. 其中,80 %～90 %的人工神经网络模型是采用前馈反向传播网络(Back Propagation Net Work 简称BP 网络) 或它的改进形式,它是前向网络的核心部分,体现了网络最精华的部分.标准的BP 网络是根据Widrow - Hoff 规则,采用梯度下降算法,在非线性多层网络中,反向传播计算梯度. 但BP 网络存在自身的限制与不足,如需要较长的训练时间、会收敛于局部极小值等,使得BP 算法在实际应用中不是处处能胜任.因此近十几年来,许多研究人员对其做