课件：人工神经网络讲.ppt

* * * * Delta学习规则 仅对连续激活函数，并只对有监督学习模型有效。 学习信号为： 误差梯度矢量： 这个学习规则可从Oi与di最小方差得出。 方差： Delta学习规则 这个规则是与离散感知器学习规则是并行的，可以称为连续感知器训练规则，它可以进一步推广到多层。 一般要求c取较小的值，是在权空间，按负的方向转动权矢量。 梯度矢量分量： 由于最小误差要求权变换是负梯度方向，所以取式 中c——正常数。 神经元网络的工作过程： 这里主要介绍两种最常用的形式： 第一种：回想（recall） ——自动联想 ——异联想 第二种：分类（classification） ——异联想的一种特殊情况 ——识别 自动联想过程 异联想过程 分类过程 识别过程 5多层网络的误差逆传播校正方法 误差逆传播校正方法是利用实际输出与期望输出之差对网络的各层连接权由后向前进行校正的一种计算方法。理论上讲，这种方法可以适用于任意多层的网络。 5多层网络的误差逆传播校正方法 为计算方便，我们首先把网络的变量设置如下： 输入模式向量： 希望输出向量： 中间层各单元输入激活值向量： 中间层各单元输出向量： 输出层各单元输入激活值向量： 输出实际值向量： 输入层至中间层的连接权： 中间层至输出层的连接权： 中间层各单元的阈值： 输出层各单元的阈值： 其中 5多层网络的误差逆传播校正方法 激活函数才用S型函数： 激活函数的导数为： 这里的学习规则实际上是一种Delta学习规则，即利用误差的负梯度来调整连接权，使其输出误差单调减少。利用Delta学习规则，应该先求出误差函数的梯度，因此有以下推导过程： 对第k个学习模式，网络的希望输出与实际输出的偏差设为： 5多层网络的误差逆传播校正方法 采用平方和误差进行计算： 按梯度下降原则，中间层至输出层连接权的调整量应为： 展开： 5多层网络的误差逆传播校正方法 利用（4）式可得： 因为输出层第t个单元的激活值为： 输出层第t个单元的输出值为： 由式（2）可得对于输出函数的导数： 5多层网络的误差逆传播校正方法 所以： 因此，由式（6）（7）和（11）可得： 为进一步简化， 所以： 5多层网络的误差逆传播校正方法 同理，由输入层至中间层连接权的调整，仍按梯度下降法的原则进行 ： 同样也可求出阈值的调整量： 为中间层各单元的校正误差 以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。对于全部的输入模式，我们有网络的全局误差E： BP网络的学习规则与计算方法 输入模式顺传播（输入模式由输入层经中间层向输出层传播计算），这一过程主要是利用输入模式求出它所对应的实际输出 输出误差逆传播（输出的误差由输出层经中间层传向输入层），当这些实际的输出值与希望的输出值不一样时或者说其误差大雨所限定的数值时，就要对网络进行校正。 循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行） 学习结果判别（判定全局误差是否趋向极小值）。 BP网的学习过程 利用前面求得的对各个连接权和阀值进行校正的数学表达式，可构成BP网络的学习规则。 BP网络的应用举例 “异或”（XOR）问题：例如有一个BP网络，它由输入、中间和输出层这三层构成，如图所示。输入层和中间层各有两个神经元，输出层有一个神经元。先要求训练这一网络，使其具有解决“异或”问题的能力。 首先给网络的连接权及其阈值赋予[-0.1,0.1]区间的随机数，如上图所示。在初始状态下的输入、输出结果如下表所示 X1 X2 希望输出 实际输出 全局误差 0 0 0 0.5 0.5 0 1 1 0.5 0.5 1 0 1 0.5 0.5 1 1 0 0.5 0.5 X2 X1 X1 0.0801 0.0605 0.0543 0.0579 -0.0291 0.0999 BP网络的应用举例 X1 X2 希望输出 实际输出 全局误差 0 0 0 0.119 0.166 0 1 1 0.727 1 0 1 0.734 1 1 0 0.415 这时的平方和误差可用下式计算： 由于对应四个输入模式的实际输出均为0.5左右，所以全局误差为0.5。下面采用BP网络的学习算法进行训练，取。当进行8000次学习后得到下图所示的网络参数。 这时的全局误差为0.16584。若输出小于0.5判为0，大于0.5判为1，则可认为此时网络已经完成了模