BP网络的改进算法简介.docx

人工神经网络(Artificial Neural Network ,ANN), 自从20世纪50年代Rosenblatt首次将单层感知器应用于 模式分类学习以来，已经有了几十年的研究历史.但是由于 Minsky和Papert指出单层系统的局限性，并表 达了对多层系统的悲观看法，在20世纪70年代对ANN的研究兴趣减弱.直至80年代中期Rumelhart等 重新阐述了反传训练方法，使得在ANN领域的理论和应用研究开始在世界范围内重新兴起 .ANN是一种按 照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型 ，它具有并行处理、自适应自组织、联想 记忆、容错鲁棒以及逼近任意非线性等特性 ，在预测评估、模式识别、信号处理、组合优化及知识工程等领 域具有广泛的应用.近年来，已有多种ANN模型被提出并得以深入研究.其中,80 %?90 %的人工神经网 络模型是采用前馈反向传播网络 (Back Propagation Net Work 简称BP网络)或它的改进形式，它是前向网 络的核心部分，体现了网络最精华的部分. 标准的BP网络是根据Widrow - Hoff规则，采用梯度下降算法，在非线性多层网络中，反向传播计算梯度?但 BP网络存在自身的限制与不足，如需要较长的训练时间、会收敛于局部极小值等 ，使得BP算法在实际应用 中不是处处能胜任.因此近十几年来，许多研究人员对其做了深入的研究 ，提出了许多改进的算法，如使用动 量项的加快离线训练速度的方法、归一化权值更新技术方法、快速传播算法、 & 5方法、扩展卡尔曼滤波 法、二阶优化以及最优滤波法等. BP网络的改进算法大体上分为两类，一类是采用启发式技术，如附加动量法、自适应学习速率法、RPROP方 法；另一类是采用数字优化技术 ，如共轭梯度法、拟牛顿法、 Levenberg - Marquardt 方法. 附加动量法使 BP神经网络在修正其权重和阈值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上 变化趋势的影响，它允许忽略网络上的微小变化特性.该方法是在反向传播法的基础上，在每一个权重和阈 值的变化上加上一项正比于前次权重和阈值变化量的值 ，并根据反向传播法来产生新的权重和阈值的变化 ， 带有附加动量因子的权重和阈值 (X)调节公式为：(1) 其中k为训练次数，me为动量因子，一般取0. 95左右,lr为学习速率，是常数，E为误差函数.这种方法所 加入的动量项实质上相当于阻尼项 ，它减小了学习过程的振荡趋势 ，从而改善了收敛性，找到更优的解.但 是这种方法的缺点也是明显的，参数的选取只能通过实验来确定，而且它的学习速度还不能满足实时的工作 需要. H XA ay frJ H XA ay frJ Ir Kmf x 2?自适应学习速率法 自适应调整学习速率有利于缩短学习时间 .标准B P算法收敛速度慢的重要原因是学习速率选择不当 .学 习速率选得太小，收敛太慢；学习速率选取得太大，则有可能修正过头，导致发散.因此岀现了自适应调整的改 进算法，其权重和阈值(X) 见公式(2) (3) 其中，lr为学习速率，是变量，而公式(1)中lr是常数.通常调节学习速率lr的准则是：检查权重的修正值是否 真正降低了误差函数，如果确实如此，贝U说明所选取的学习速率值小了 ，可以对其增加一个量；若不是这样 而产生了过调，那么就应减小学习速率的值. 3 .弹性 BP(Resilient Back propagation，RPROP) 方法 一般来说，BP网络的隐含层激活函数采用 S形的(Sigmoid)函数.Sigmoid函数用于将神经元的输入范围(- g，+ ?映射到(0，1)，当输入变量很时，Sigmoid函数的斜率将接近于0.这可能导致在利用Sigmoid函数 训练BP网络中梯度下降的问题，由于即使梯度有很小的变化，也会引起权重和阈值的微小变化，使权重和阈 值远离最乐观的值. 有鉴于此，1993年德国 Martin Riedmiller和Heinrich Braun在他们的论文中提出有弹性的 BP（Resilient Backpropagation）方法.这种方法的原理是打算消除偏导数的大小有害的影响权步 ，因此，唯有导数的符号被 认为表示权更新的方向，而导数的大小对权更新没有影响.权改变的大小仅仅由权专门的 更新 值"来礎定* 如任 其他 其中r 表示在模式集的所有模式（tfc耘1）上求和的梯度信息*⑴ 表示 时刻.对每个权重和阈值的更新值得到修改 ，权更新本身遵循一个很简单的规则 ：如果导数是正（增加误差） 这个权重和阈值由它的更新值降低，如果导数是负，更新值提高： 见公式（5） RPROP的基本原理是权重和阈值更新值的直接修改 ，它和以学习速率为基础的算法相反（正如梯度下降一 样）.RP