BP神經网络的学习.docVIP

BP神经网络的学习 王贵腾 摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性能，可广泛应用于多输入多输出的非线性系统。 关键词：BP神经网络；BP算法；动量项；自适应学习率；归一化；遗传算法 绪论 1.1人工神经网络概述 人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。 神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点： 1）能逼近任意L2范数上的非线性函数； 2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力； 5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。 同时，神经网络控制在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、逆系统控制、预测控制等。 目前神经网络的研究主要集中在三个方面：理论研究、实现技术研究、应用研究。 1.2 BP神经网络, 误差指标 总误差指标 重复下列过程直至满足收敛条件（） 对于任意一个样本p，计算 正向过程 反向过程 修正权值 包括两种学习方式： 模式（Pattern）学习方式： 训练（Epoch）学习方式： 3.3 BP神经网络存在的缺陷 由于BP神经网络是基于负梯度下降算法的网络模型，就不可避免的存在着一些缺陷和不足： 1）BP学习算法采用梯度下降法来收敛实际输出与期望输出之间误差。因为误差是高维权向量的复杂非线性函数，故易陷入局部极小值； 2）网络在学习过程收敛速度慢； 3）在网络训练过程中容易发生振荡，导致网络无法收敛； 4）网络的结构难以确定（包括隐层数及各隐层节点数的确定）； 5）在学习新样本时有遗忘以学过样本的趋势，因为每输入一个样本，网络的权值就要修改一次； 6）学习样本的数量和质量影响学习效果(主要是泛化能力)和学习速度。 BP算法的改进 标准的 BP 算法是基于梯度下降法，通过计算目标函数对网络权值和阈值进行修正的。改进算法一种是在标准梯度下降法的基础上，只用到目标函数对权值和阈值的一阶导数（梯度）信息。 4.1附加动量项法 它的实质就是改变学习率来提高网络性能，其网络连接权的迭代关系式由传统 BP 算法 变成 其中为动量因子，。 动量项的作用在于记忆上一时刻的连接权的变化方向（即变化量的值），这样就可以用较大的学习速率系数以提高学习速度。附加动量项利用其“惯性效应”来抑制网络训练中可能出现的振荡，起到了缓冲平滑的作用。此外，附加动量项还有利于脱离平坦区。 4.2自适应学习率法 该方法被认为是一种最简单最有效的方法。在 BP 算法中，连接权的调整决定于学习速率和梯度，但是，在基本 BP 算法中，学习速率是不变的。实际上学习速率对收敛速度的影响也很大，通过对它的在线调整，可以大大提高收敛速度。 学习速率的调整原则上是使它在每一步保持尽可能大的值，而又不致使学习过程失去稳定性。学习速率可以根据误差变化的信息和误差函数对连接权梯度变化的信息进行启发式调整，也可以根据误差函数对学习速率的梯度直接进行调整。 对于批处理可以根据总误差变化的信息进行启发式调整，其规则是： 1）若总误差减小，则学习率增加。 2）若总误差增加，则学习率减小。当新误差与老误差之比超过一定值，则学习率快速下降。 上述规则可用如下迭代方程来描述： 4.3输入输出数据归一化 各输入数据往往具有不同的物理含义和量纲，取值范围差异可能较大，归一化将避免取值较小的输入分量的作用被淹没； 对于S型转移函数，归一化可防止因神经元净输入过大而使其输出饱和，避免进入误差曲面平坦区； 对输出进行归一化，可使各神经元输出在误差指标中具有等量的作用。 4.4利用遗传算法优化 遗传算法优化神经网络主要包括三方面：网络结构优化、权值优化、学习规则优化，这里主要讨论的是权值优化。 首先，用遗传算法对初始权值分布进行优化，在解空间中找出一个较好的搜索空间；然后，再用 BP 算法在这个较小的解空间中搜索出最优解。用改进的遗传算法优化神经网络权值，能够更好地防止搜索陷入局部极小值。遗传算法优化神经网络权