神经网络实用教程 教学课件 作者 张良均 曹晶 3.1 BP网络学习算法优化方法.pptVIP

第3章 神经网络优化方法 3.1 BP网络学习算法的改进 3.1 BP网络学习算法的改进 BP网络学习算法存在的问题 存在平坦区域 影响--------误差下降缓慢，影响收敛速度。 原因--------误差对权值的梯度变化小－－接近于零 由各节点的净输入过大而引起。 分析：激活函数为Sigmod函数 3.1 BP网络学习算法的改进 存在平坦区域的原因分析 3.1 BP网络学习算法的改进 3.1 BP网络学习算法的改进 存在多个极小点 影响------易陷入局部最小点 3.1 BP网络学习算法的改进 3.1.1消除样本输入顺序影响的改进算法 在线学习方式时，网络受后面输入样本的影响较大，严重时，会影响用户要求的训练精度。为了消除这种样本顺序对结果的影响，可以采用批处理学习方式，即使用一批学习样本产生的总误差来调整权值，用公式表示如下： 解决了因样本输入顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度相对来说还是比较慢的。 3.1.1消除样本输入顺序影响的改进算法 3.1.2 附加动量的改进算法 在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于上一次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化 带有附加动量因子的权值调节公式为 : 可以防止的出现即最后