BP网络的改进算法简介.pdfVIP

英雄者，胸怀大志，腹有良策，有包藏宇宙之机，吞吐天地之志者也。——《三国演义》

人工神经网络(ArtificialNeuralNetwork,ANN),自从20世纪50年代Rosenblatt首次将单层感知器应用于

模式分类学习以来,已经有了几十年的研究历史.但是由于Minsky和Papert指出单层系统的局限性,并表

达了对多层系统的悲观看法,在20世纪70年代对ANN的研究兴趣减弱.直至80年代中期Rumelhart等

重新阐述了反传训练方法,使得在ANN领域的理论和应用研究开始在世界范围内重新兴起.ANN是一种按

照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型,它具有并行处理、自适应自组织、联想

记忆、容错鲁棒以及逼近任意非线性等特性,在预测评估、模式识别、信号处理、组合优化及知识工程等领

域具有广泛的应用.近年来,已有多种ANN模型被提出并得以深入研究.其中,80%～90%的人工神经网

络模型是采用前馈反向传播网络(BackPropagationNetWork简称BP网络)或它的改进形式,它是前向网

络的核心部分,体现了网络最精华的部分.

标准的BP网络是根据Widrow-Hoff规则,采用梯度下降算法,在非线性多层网络中,反向传播计算梯度.但

BP网络存在自身的限制与不足,如需要较长的训练时间、会收敛于局部极小值等,使得BP算法在实际应用

中不是处处能胜任.因此近十几年来,许多研究人员对其做了深入的研究,提出了许多改进的算法,如使用动

量项的加快离线训练速度的方法、归一化权值更新技术方法、快速传播算法、δ-δ方法、扩展卡尔曼滤波

法、二阶优化以及最优滤波法等.

BP网络的改进算法大体上分为两类,一类是采用启发式技术,如附加动量法、自适应学习速率法、RPROP方

法；另一类是采用数字优化技术,如共轭梯度法、拟牛顿法、Levenberg-Marquardt方法.

附加动量法使BP神经网络在修正其权重和阈值时,不仅考虑误差在梯度上的作用,而且考虑在误差曲面上

变化趋势的影响,它允许忽略网络上的微小变化特性.该方法是在反向传播法的基础上,在每一个权重和阈

值的变化上加上一项正比于前次权重和阈值变化量的值,并根据反向传播法来产生新的权重和阈值的变化,

带有附加动量因子的权重和阈值(X)调节公式为:（1）

其中k为训练次数,mc为动量因子,一般取0.95左右,lr为学习速率,是常数,E为误差函数.这种方法所

加入的动量项实质上相当于阻尼项,它减小了学习过程的振荡趋势,从而改善了收敛性,找到更优的解.但

是这种方法的缺点也是明显的,参数的选取只能通过实验来确定,而且它的学习速度还不能满足实时的工作

需要.

2．自适应学习速率法

自适应调整学习速率有利于缩短学习时间.标准BP算法收敛速度慢的重要原因是学习速率选择不当.学

习速率选得太小,收敛太慢;学习速率选取得太大,则有可能修正过头,导致发散.因此出现了自适应调整的改

进算法,其权重和阈值(X)

见公式（2）（3）

其中,lr为学习速率,是变量,而公式(1)中lr是常数.通常调节学习速率lr的准则是:检查权重的修正值是否

真正降低了误差函数,如果确实如此,则说明所选取的学习速率值小了,可以对其增加一个量;若不是这样,

而产生了过调,那么就应减小学习速率的值.

3．弹性BP(ResilientBackpropagation,RPROP)方法

一般来说,BP网络的隐含层激活函数采用S形的(Sigmoid)函数.Sigmoid函数用于将神经元的输入范围(-

∞,+∞)映射到(0,1),当输入变量很时,Sigmoid函数的斜率将接近于0.这可能导致