bp神经网络算法.docVIP

. . BP神经网络算法 三层BP神经网络如图： 目标输出向量 目标输出向量 传递函数输出层，输出向量输入层，输入向量隐含层，隐含层输出向量权值为传递函数 传递函数 输出层，输出向量 输入层，输入向量 隐含层，隐含层输出向量 权值为 传递函数 设网络的输入模式为，隐含层有h个单元，隐含层的输出为，输出层有m个单元，他们的输出为，目标输出为设隐含层到输出层的传递函数为，输出层的传递函数为g 于是：：隐含层第j个神经元的输出；其中 ：输出层第k个神经元的输出 此时网络输出与目标输出的误差为，显然，它是的函数。 下面的步骤就是想办法调整权值，使减小。 由高等数学的知识知道：负梯度方向是函数值减小最快的方向 因此，可以设定一个步长，每次沿负梯度方向调整个单位，即每次权值的调整为： ，在神经网络中称为学习速率 可以证明：按这个方法调整，误差会逐渐减小。 BP神经网络（反向传播）的调整顺序为： 1）先调整隐含层到输出层的权值 设为输出层第k个神经元的输入 -------复合函数偏导公式 若取，则 于是隐含层到输出层的权值调整迭代公式为： 2）从输入层到隐含层的权值调整迭代公式为： 其中为隐含层第j个神经元的输入： 注意：隐含层第j个神经元与输出层的各个神经元都有连接，即涉及所有的权值，因此 于是： 因此从输入层到隐含层的权值调整迭代为公式为： 例： 下表给出了某地区公路运力的历史统计数