浅析BP神经网络算法的改进和优化.pdfVIP

技术平台 科科技经济市场科技经济市场科技经济市场技经济市场 浅析BP 神经网络算法的改进和优化 储琳琳 郭纯生 （防灾科技学院，北京 101601） 本文简要介绍了BP 神经网络的缺点，着重强调了BP 神经网络的算法改进，并且，利用Mat lab 仿真了各种改进算 摘 要： 法的学习速度，从结果看改进后的BP 神经网络能较好地解决针BP 算法学习速度慢的缺点。 神经网络;BP 算法;学习速度 关键词： 中图分类号：TN430 文献标识码：B 1 BP 算法的缺点 最小值点，但是这个碗的表面凹凸不平的，因而在对其进行训练 虽然神经网络模型已成功应用于模式识别、函数逼近、时间 的过程中，可能陷入某一小谷区，而这一小谷区产生一个局部最 序列预测等领域。并且BP 网络也是目前应用最为广泛的一种 小值，由此点向各个方向变化均使误差增加，以至于使训练无法 神经网络模型，它具有思路清晰，结构严谨，可操作性强等优点。 逃出这一局部最小值。 但是由于BP 学习算法仅改变网络的连接值和阀值，不改变网 为了解决BP 网络训练的以上缺点，人们提出了多种有益 络的拓扑结构，因此BP 网络在处理具体问题时还存在如下问 的改进。改进方法主要有两类：第一类是基于启发式学习方法的 [1] 改进算法：如附加动量的BP 算法、自适应学习率BP 算法、弹性 题 ： 1.1 网络的麻痹现象。在网络训练过程中，加权调得较大可 BP 算法等；第二类是基于数值优化的改进算法：如共扼梯度法、 能迫使所有的或大部分节点的加权和输出较大，从而操作在S 拟牛顿法和Levenberg- Marquardt(LM)法等。这些方法在不同程 压缩函数的饱和区，此时函数在其导数非常小的区域，即函数的 度上提高了学习速度，加快了网络的收敛，避免陷入局部极小值 [2][3] 导数值很小或趋近0 ，由于在计算加权修正量的公式中，这使得 。 调节几乎停顿下来，通常为了避免这种现象，将训练速率减小， 2 各种改进算法的学习速度的比较 但又增加了训练时间。 在Matlab6.5 中，通过调用newff 实现网络的创建，然后调用 1.2 网络学习收敛速度比较慢。由于BP 算法的学习复杂性 函数train 对所创建网络newff 进行训练。设定系统总误差为 是样本规模的指数函数，如果网络规模较大或学习样本较多时， 0.01 ，步长为0.02 ，网络训练2000 次，或直到满足性能要求时停 往往需要很长的学习时间，甚至学习无法完成，这个主要由于学 止训练，否则增加训练次数。表1 给出几种算法收敛速度的比 习速率太小所造成的；可采用变化的学习速率或者自适应的学 较：表中的数据均为6 次平均值。 习速率加以改进。 表1 启发式学习方法的收敛速度比较 1.3 易陷入局部极小值。BP 算法可以使网络权值收敛到一 个解，但它并不能保证所求解为误差超平面的最小解，很可能是 局部极小解；这是因为BP 算法采用的是梯度下降法，训练是从 某一起点沿误差函数的斜面逐渐达到误差的极小值，对于复杂 的网络，其误差函数为多维空间的曲面，就像一个碗，其碗底是 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 均取如（13）的三角隶属度函数。