神经网络的特点和改进方法综述.pdfVIP

神 霜 网络的特点及改进方法综述 Summarizingof’theCharacteristiCSandthe ImprovedAlgorithnisoftheNeuralNetwork 及 改 进 王 坤 方 WangKun 法 综 (西安工业大学电子信息工程学院，陕西 西安 710032) 述 (SchoolofElectronicandInformation，Xi’anTechnologyUniversity，shaanxiXi’an710032) 摘 要：本文：左对前馈神经网络训练算法分析的基础上，阐述了标准BP算法的特点，并分析了在实际 应用中存在的不足，指出了产生不足的原因，最后介绍了一些常见的改进算法，说明了进一步研究的方向。 关键词：神经网络；收敛速度 ；局部极小；改进算法 中图分类号：TP183 文献标识码 ：A 文章编号：1671．4792一(2Ol1)7—0227。06 Abstract：Onhtebasisoftheanalysisofthetrainingalgorithm of~edbackneuralnetwork，thecharacteristics andtheshortcomingsofthestandardbackpropagationalgorithm arediscussed．Somecommonlyusedsuppression algorithm raeintroducedinthepaper，andthefurtherresearchdirectionoftheimprovedalgoritmh ispointedout． Keywords：NeuralNetwork；VelocityofConvergence；LocalM inimum ；ImprovedAlgoritmh O 引言 记忆以及逼近任意非线性等特性。随着神经网络理 人工神经网络控制技术从 2O世纪50年代 自 论及其应用的日趋成熟，相继提出了多种神经网络 Rosenblatt首次将单层感知器应用于模式分类学习 的模型，包括多层前馈网络、Hopfield网络、模糊神 以来，已经有了几十年的研究历史。但是，对于单层 经网络、自适应共振理论等等，其中应用最为广泛、 感知器，不论采用怎样的非线性函数，其分类能力都 理论研究最为深入的，当属前馈神经网络中的BP 一 样，即只能解决线性可分的问题 1J【。增强分类能力 神经网络。 的唯一出路是采用多层网络，即在输入层与输出层 1前馈神经网络的特点 之间加上隐层构成多层前馈网络，由此所带来的问 在多层前馈网络中，提出最早也是应用最普遍 题是，对于这样的多层网络，采用什么样的学习算 的是反向误差传播神经网络，简称BP神经网络。它 法，网络才能合理地进行学习。在当时的条件下，还 是前向网络的核心，体现了网络最精华的部分。标准 不具备解决这种问题的能力。正是因为这样，在20 的BP网络采用的是误差梯度下降的算法，在多层 世纪7O年代，科学界对人工神经网络的研究减弱。 网络中使用了梯度反向传播的