神经网络设计课程_Ch12_反向传播算法变形.pdfVIP

12 反向传播算法的变形 1 12 BP算法的缺点 • 算法的收敛速度很慢 • 可能有多个局部极小点 • BP 网络的隐层神经元个数的选取尚无理论上的指 导，而是根据经验选取 • BP 网络是一个前向网络，具有非线性映射能力， 但较之非线性动力学系统，功能上有其局限性 2 12 BP算法的变形 • 启发式改进 – 动量 – 可变的学习速度 • 标准的数值优化 – 共轭梯度 – 牛顿法(Levenberg-Marquardt) 3 12 性能曲面例子 多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者 的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有 多个局部极小点而且在参数空间不同区域曲率也是变化的。 网络结构 指定的函数 1 0.75 0.5 0.25 0 -2 -1 0 1 2 参数值 1 1 1 1 w = 10 w = 10 b = –5 b = 5 1 1 2 1 1 2 2 2 2 w = 1 w = 1 b = –1 1 1 1 2 4 1