BP学习算法.ppt

* * * * * * * * * * BP学习算法 一、多层向前神经网络 二、BP算法1.产生David Rumellart、J.McClelland两个人在1985年提出了BP网络的误差反向后传BP学习算法（Back Propagation）。2.基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。3.激活函数可微的Sigmoid函数 4.学习过程（1）工作信号正向传播输入样本——输入层——各隐含层——输出层判断是否传入反向传播阶段：若输出层的实际输出与期望输出的输出不符。（2）误差信号反向传播误差以某种形式在各层表示——修正各层单元的权值。网络输出的误差减少到可接受的程度，进行到预先设定的学习次数为止。 5.变量定义输入向量：对应任一训练样本： 的实际输出：期望输出：设n为迭代次数，权值和实际输出是n的函数（1）工作信号的正向传播过程：输入：输出：  输出的导数： 输出层第P个神经元的误差信号为： 定义神经元P的误差能量为： 输出层所有神经元的误差能量总和为： * * * * * * * * * *