神经网络案例教学材料2.docVIP

第9 章神经网络优化及故障诊断’ 9.1 Bp 网络学习算法的改进 标准BP 算法采用的是最速梯度下降法修正权值，训练过程从某一起点沿误差函数的斜面逐渐达到最小点使之误差为零。而对于复杂的网络，误差曲面在多维空间，这就像一个碗一样，碗底就是最小点。但这个碗的表面是凹凸不平的，因而在训练过程中可能会陷入某个局部最小点，由该点向多方向变化均会使误差增加，以致无法逃出这个局部最小点，由于标准BP 网络学习算法存在与输入样本的顺序有关、收敛速度缓慢、易陷入局部极小等缺陷，为了克服算法中的不足，下面几节将给出一些改进算法，这些改进算法或者减少了输入样本顺序的影响，或者收敛速度比标准梯度法快数十乃至数百倍。 9.1.1消除样本输入顺序影响的改进算法 前面描述的BP 网络标准学习算法，在每输入一个学习样本后，根据其产生的误差立即对权值进行调整，属于在线学习方式。实验表明，在线学习方式，网络受后面输入样本的影响较大，严重时，会影响用户要求的训练精度。为了消除这种样本顺序对结果的影响，可以采用批处理学习方式，即使用一批学习样本产生的总误差来调整权值，用公式表示如下： Δwij=∑Δpwij 式中，∑Δpwij代表连接权wij关于一批学习样本的调整量，表示由所有学习样本产生的误差，每一个样本产生的权值调整量可由相应的计算公式求得，从而有效地消除样本顺序对学习算法的影响。1 ．网络初始化 给wih 、