改进的BP算法及其在变形监测数据处理中的应用.pdfVIP

改进的BP算法及其在变形监测数据处理中的应用 谷川 同济大学测量与国土信息工程系，上海（200092 ） E-mail ：guchuanhaha@163.com 摘 要：传统BP神经网络算法存在重大缺陷，如：迭代过程容易陷落到局部极小、收敛速 度慢、难以确定网络结构等。本文针对其缺陷，分别对其收敛性标准、激活函数等进行改进， 并采取措施防止振荡、加速收敛以及防止陷入局部极小。将改进之后的BP神经网络运用到 变形监测数据处理中，应用结果表明：改进后的BP神经网络比传统BP神经网络在精度等方 面有了很大的改善。 关键词：BP神经网络，遗传算法，激活函数，附加动量，变形监测数据处理 1. 引言 人工神经网络(Artificial Neural Network,简称ANN) 是20世纪80年代发展起来的自动控 制领域的前沿科学之一，它是一种大规模并行的复杂非线性动力系统，具有并行的处理机制、 灵活可变的拓扑结构、非线性映射计算能力，自学习和自组织的能力，在很多方面都得到了 广泛的应用。 实际应用中，目前神经网络诸多算法中应用最广的是BP(Back Propagation) 网络, 其结构 简单，可操作性强，在函数逼近、模式识别、分类、数据压缩等领域有着广泛的应用。根据 Kolmogorov定理，对于一个三层（一个输入层、一个隐含层、一个输出层）的BP 网络，只 要其隐含层的神经元数可选，就可以任意精度逼近任何连续函数。据统计，有近90%的神经 [1] 网络应用是基于BP算法的 。 但是，传统BP神经网络存在如下三个缺陷，以至于影响其实际应用： ⑴传统BP 网络的隐层节点采用的是Sigmoid函数，采用误差梯度下降法，在有随机扰动 的情况下往往不能保证全局收敛而陷入局部极小, 不能达到最佳效果，致使学习过程失效； ⑵学习算法的收敛速度很慢, 尤其是在目标点附近。其中一个重要的原因是学习速率选 择不当。学习速率选得太小，则收敛太慢，学习速率选得太大，则有可能修正过头，导致振 荡甚至发散； ⑶难以确定神经网络的优化结构，网络的输入节点、输出节点由问题而定，隐节点的选 [2] 取根据经验, 缺乏理论指导，对初始权值、阈值等的选取敏感 。 针对BP神经网络的上述缺陷，国内外学者进行了大量的研究，提出了一些良好的改进 措施，例如附加动量法[1]，[4] ，引入遗传算法[2]，[5]等。本人在前人研究的基础之上进行了研 究和探讨，提出了一个新的收敛标准，该标准将样本划分为学习样本以及检测样本，同时考 虑了学习样本误差以及检测样本误差，避免了学习误差很小，预测误差很大的情况；引入了 小波基函数替代传统BP 网络Sigmoid激活函数，具有更好的函数逼近能力以及容错能力；对 前人提出的在BP神经网络中引进遗传算法的方法也进行了改进，同时对网络结构以及网络 初始值进行优化；将改进后的BP神经网络应用到变形监测数据处理领域。 2. 对传统BP神经网络的改进 针对传统BP神经网络存在的重大不足，对其进行如下改进： - 1 - 2.1 收敛性标准改进 在传统BP算法学习过程中，训练样本误差(训练误差)通常可表示为公式⑴: 2 ⎧ 1 R N ⎛ ~ ⎞ E ⋅ ⎜f −f ⎟ ⎪ R ∑∑ n p