完整版BP神经网络模型.pptVIP

2.4 BP 神经网络模型与学习算法 概述 ? Rumelhart ， McClelland 于 1985 年提出了 BP 网络的误差反 向后传 BP(Back Propagation) 学习算法 ? BP 算法基本原理 ? 利用输出后的误差来估计输出层的直接前导层的误差， 再用这个误差估计更前一层的误差，如此一层一层的反 传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 2.4.1 BP 神经网络模型 ? 三层 BP 网络 2.4.1 BP 神经网络模型 ? 激活函数 ? 必须处处可导 一般都使用 S 型函数 ? 使用 S 型激活函数时 BP 网络输入与输出关系 ? 输入 ? 输出 1 1 2 2 ... n n net x w x w x w ? ? ? ? 1 f ( ) 1 e net y net ? ? ? ? 2.4.1 BP 神经网络模型 ? 输出的导数 2 1 1 f ( ) (1 ) 1 e (1 e ) -net net net y y ? ? ? ? ? ? ? ? 根据 S 型激活函数的图形可知 , 对神经网络进行训练，应该将 net 的值 尽量控制在收敛比较快的范围内 2.4.2 BP 网络的标准学习算法 ? 学习的过程： ? 神经网络在外界输入样本的刺激下不断改变网 络的连接权值 , 以使网络的输出