神经网络算法入门.pptVIP

7.3.2 反向传播模型 1.工作原理 神经网络模型分为前馈多层式网络模型、反馈递归式网络模型、随机型网络模型等。 误差反向传播(Back propagation，简称BP网络) ，又称为多层前馈神经网络。 2.学习过程 BP网络学习过程是一种误差边向后传播边修正权系数的过程，BP算法把网络的学习过程分为正向传播和反向传播两种交替过程。 （1）正向传播 输入信息先传到隐藏层的结点上，经过各单元的特性为S型的激活函数运算后，把隐藏层结点的输出信息传到输出结点，最后给出输出结果。 （2）反向传播 如果得不到实际的输出，则转入反向传播过程，将误差信号沿原来的连接线路返回，通过修改各层神经元的权值，逐次地向输入层传播进行计算，再经过正向传播过程。这两个过程的反复运用，逐渐使得误差信号最小，网络学习过程就结束。 3．BP算法 BP算法如下。 其中，l为学习率；oi为单元i的输出；oj为单元j的输出；Tj为输出层单元j的期望输出；Errj为与隐藏层单元j的误差加权和；wjk为单元j与单元k相连的有向加权边的权重；为改变单元j活性的偏量。 输入：训练样本S，学习率l，多层前馈网络。 输出：一个训练的、对样本分类的神经网络。 方法： (1) 初始化网络的权和阈值 (2)??WHILE终止条件满足{ (3)??FOR S中的每个训练样本X{ (4)??FO