反向传播算法.docVIP

反向传播算法 神经元j在迭代n时（即呈现第n个训练例子）输出误差信号定义如下： e n d n -y n 神经元j是输出节点 （4.1） 我们将神经元j的误差能量瞬间定义为（1/2）e n）。相应的，整个误差能量的瞬间值即为输出层的所以神经元的误差能量瞬间值的和；这些只是那些误差信号可被直接计算的“可见”神经元。因此，的计算公式是 （4.2） 集合C包括网络输出层的所以神经元。令N记为包含在训练集中模式（例子）的总数。对所有n求的和然后关于集的大小规整化即得的均方误差能量，表示为 （4.3） 误差能量的瞬间值和误差能量的平均值是网络所有自由参数（即突触权值和偏置水平）的函数。对下一个给定的训练集，表示的代价函数作为学习性能的一个度量。学习过程的目的是调整网络的自由参数使得最小化。要达到这种最小化，我们使用第3章推导LMS算法所用原理相似的一个逼近。特别地，我们考虑一个训练的简单方法，即权值在一个模式接一个模式的基础更新，知道一个回合（epoch 结束，也就是整个训练集的完全表示已被网络处理。权值的调整根据每个呈现给网络的模式所计算的各自的误差进行。因此，这些单个权值在训练集上的改变的算术平均，是基于使整个训练集的代价函数最小化的真实权值改变的一种估计。 然后考虑图4-3，它描绘神经元j被它左边的一层神经元产生的一组函数信号所馈给。因此，在神经元j的激活函数输入处产生的诱导局部域是