(完整版)bp神经网络算法.docVIP

BP 神经网络算法 三层 BP 神经网络如图： 目标输出向量 传递函数 g 输出层，输出向量 权值为 w jk 传递函数 f 隐含层，隐含层 输出向量 输 入 层 ， 输 入 向量 设网络的输入模式为 x (x1 , x2 ,...xn )T ，隐含层有 h 个单元，隐含层的输出为 y ( y1 , y2 ,...yh )T ，输出 层有 m 个单元，他们的输出为 z (z1 , z2 ,...zm )T ，目标输出为 t (t1 ,t2 ,..., tm )T 设隐含层到输出层的传 递函数为 f ，输出层的传递函数为 g n n 于是： y j f ( wij xi ) f ( wij xi ) ：隐含层第 j 个神经元的输出；其中 w0 j , x0 1 i 1 i 0 h zk g( wjk y j ) ：输出层第 k 个神经元的输出 j 0 此时网络输出与目标输出的误差为 1 m (t k zk )2 ，显然，它是 wij 和 w jk 的函数。 2 k 1 下面的步骤就是想办法调整权值，使 减小。 由高等数学的知识知道：负梯度方向是函数值减小最快的方向 因此，可以设定一个步长 ，每次沿负梯度方向调整 个单位，即每次权值的调整为： w pq w pq ， 在神经网络中称为学习速率 可以证明：按这个方法调整，误差会逐渐减