精选神经网络_配套ppt_ch12_pres(mlp).pptVIP

敏感度计算 S ? m S ? 1 m S ? 2 m ? S ? Q m = 反向传播 初始化 LMBP算法 1. 将所有输入提交网络并计算相应的网络输出和误差。计算所有输入的误差平方和F(x). 2. 计算Jacobian矩阵。初始化敏感度，用反向传播算法递归计算各层的敏感度。将各个单独的矩阵增广到 Marquardt 敏感度中。计算 Jacobian 矩阵的元素。 3. 求得权的改变量　　。 4. 用　　　　重复计算误差平方的和。如果新的和小于第1步中计算的和，则用 mk 除以 ? ，并设　　　　　　 ，转第1步；如果和没有减少，则用 mk 乘以 ?，转第3步。 　当梯度的模小于给定的值，或误差平方和减少到某个目标误差时，算法被认为收敛。 LMBP计算步骤例 w11,1 w21,1 LMBP 轨迹 w11,1 w21,1 12 * 反向传播算法的变形 BP算法的缺点 算法的收敛速度很慢 可能有多个局部极小点 BP网络的隐层神经元个数的选取尚无理论上的指导，而是根据经验选取 BP网络是一个前向网络，具有非线性映射能力，但较之非线性动力学系统，功能上有其局限性 BP算法的变形 启发式改进 动量 可变的学习速度 标准的数值优化 共轭梯度 牛顿法 (Levenberg-Marquardt) 性能曲面例子 网络结构 指定的函数 参数值 多层非线性网络与单层线性网络在均方误差性能曲面