人工神经网络5BP神经网络课件.ppt

函数逼近 我们已经有了对多层感知机网络在模式识别和 函数逼近中的能力一些概念 , 下一步是要设计一个 算法来训练这样的网络。 反向传播算法 反向传播算法 如前所述 , 多层网络中某一层的输出成为下一 层的输入。描述此操作的等式为： 这里 ,M 是网络的层数。第一层的神经元从外 部接收输入： 它是等式的起点。最后一层神经元的输出是 网络的输出： 1 1 1 1 ( ), 0,1, , 1 m m m m m m M ? ? ? ? ? ? ? ? a f W a b 0 a = p M a = a 多层网络的 BP 算法是 LMS 算法的推广。两个算 法均使用相同的性能指数：均方误差。算法的输 入是一个网络正确行为的样本集合： 1 , 1 2 , 2 , { }, ,{ } Q Q p t p t p t ? ? 2 2 1 1 1 1 ( ) ( ) ( ) Q Q k k mse e k t k a k Q Q ? ? ? ? ? ? ? 这里是网络的输入 , 是对应的目标输出。每输入一 个样本 , 便将网络输出与目标输出相比较。算法将 调整网络参数以使均方误差最小化： 性能指数 近似误差的最速下降法为，这里 是学习速度。 ? ? 2 2 ( ) ( ) ( ) ( ) F x e k t k a k ? ? ? , , , ( 1) ( ) m m i j i j m i j F w k w k w ? ? ? ? ? ? ( 1) ( ) m m i i m i F b k b k b ? ? ? ? ? ? 性能指数 这里， x 是网络权值和偏置值的向量。若网络有多 个输出 , 则上式的一种形式为： 这里，均方误差的期望值被第 k 次迭代时的均方误 差所代替。 ? 敏感性的反向传播 现在还需要计算敏感性，正是这个过程给出了 反向传播这个词，因为它描述了第 m 层的敏感性通 过第 m +1 层的敏感性来计算的递推关系。 , , , ( 1) ( ) m m i j i j m i j F w k w k w ? ? ? ? ? ? 误差不是隐层中的权值的显式函数 偏导数不易求得 ? ? 2 2 ( ) ( ) ( ) ( ) F x e k t k a k ? ? ? 1 1 1 1 ( ), 0,1,..., 1 m m m m m a f W a b m M ? ? ? ? ? ? ? ? 链法则 链法则计算隐层偏导数 ( ( )) ( ) ( ) df n w df n dn w dw dn dw ? ? 设有一个函数 f ，它是变量 n 的显示函数。函数 n 是 w 的显示函数。现在球 f 关于第三个变量 w 的导数。 若 ( ( )) ( ) ( ) (2) n df n w df n dn w e dw dn dw ? ? ? ? ( ) , 2 n f n e n w ? ? 链法则 , , m i m m m i j i i j n F F w n w ? ? ? ? ? ? ? ? m i m m m i i i n F F b n b ? ? ? ? ? ? ? ? 1 1 , 1 m S m m m m i i j j i j n w a b ? ? ? ? ? ? 1 , m m i j m i j n a w ? ? ? ? 1 m i m i n b ? ? ? 梯度计算 , , m i m m m i j i i j n F F w n w ? ? ? ? ? ? ? ? m i m m m i i i n F F b n b ? ? ? ? ? ? ? ? 1 1 , 1 m S m m m m i i j j i j n w a b ? ? ? ? ? ? 1 , m m i j m i j n a w ? ? ? ? 1 m i m i n b ? ? ? m i m i F s n ? ? ? 1 , m m i j m i j F s a w ? ? ? ? m i m i F s b ? ? ? 梯度计算