神经网络优化方法bp算法缺陷专家讲座.pptxVIP

3.1BP网络学习算法改进标准BP算法误差空间是N维空间中一个形状极为复杂曲面，该曲面上每个点“高度”对应于一个误差值，每个点坐标向量对应着N个权值单权值双权值神经网络优化方法bp算法缺陷专家讲座第1页

3.1BP网络学习算法改进BP网络学习算法存在问题存在平坦区域影响--------误差下降迟缓，影响收敛速度。原因--------误差对权值梯度改变小－－靠近于零由各节点净输入过大而引发。分析：激活函数为Sigmod函数神经网络优化方法bp算法缺陷专家讲座第2页

3.1BP网络学习算法改进存在平坦区域原因分析权值修正量：输出导数：神经网络优化方法bp算法缺陷专家讲座第3页

3.1BP网络学习算法改进存在平坦区域原因分析：第一个可能是充分靠近第二种可能是充分靠近0么三种可能是充分靠近1造成平坦区原因：各节点净输入过大对应着误差某个谷点对应着误差平坦区神经网络优化方法bp算法缺陷专家讲座第4页

3.1BP网络学习算法改进存在多个极小点影响------易陷入局部最小点原因：以误差梯度下降为权值调整标准，误差曲面上可能存在多个梯度为0点，多数极小点都是局部极小，即使是全局极小往往也不是唯一，使之无法区分极小点性质造成结果：使得训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给