第4A章误差反传算法及BP网络.pptVIP

人工神经网络及应用 主讲 何东健 第四章 误差反传播算法与BP网络 反向传播网络(Back-Propagation Network，BP网络)是将W-H学习规则一般化，对非线性可微函数进行权值训练的多层网络。 BP网络用途： 1)函数逼近：用输入矢量和输出矢量训练网络逼近一个函数； 2)模式识别：用特定的输出矢量将它与输入矢量联系起来； 3)分类：把输入矢量以所定义的合适方式进行分类； 4)数据压缩：减少输出矢量维数以便传输或存储。 实际应用中， 80％～90％的人工神经网络模型是采用BP网络或它的变化形式，是前向网络的核心部分，体现了人工神经网络最精华的部分。 4.1 误差反传算法 有隐层的多层感知器能提高网络的分类能力，但权值调整算法没有解决。 1986，Rumelhart和McCelland提出具有非线性连续变换函数的多层感知器的BP算法，实现了多层感知器的设想。多层感知器多采用BP算法，所以，通常将其称为BP网络。 首先学习基于BP算法的多层感知器模型。 4.1.1 BP网络模型与结构 应用最多的是具有单隐层的BP网络。一个具有r个输入和一个隐含层的神经网络模型结构如图所示。（Matlab Help中常见表示） BP网络与前面介绍过的模型除了是多层网络之外，其主要差别也表现在激活函数上。 （1）BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阈值函数{0，1}或符号函数{-1，1}， BP网络经常使用的是S型的对数或正切激活函数和线性函数。 对于多层网络，这种激活函数所划分的区域不再是线性划分，而是由一个非线性的超平面组成的区域。它是比较柔和、光滑的任意界面，因而它的分类比线性划分精确、合理，这种网络的容错性较好。 （2）另一重要特点：由于激活函数是连续可微的，它可以严格利用梯度法进行推算，它的权值修正的解析式十分明确，其算法被称为误差反向传播法，也简称BP算法。 （3）非线性放大系数功能：S型函数可以把从负无穷大到正无穷大的输入信号，变换成-1到1之间输出，对较大的输入信号，放大系数较小；而对较小的输入信号， 放大系数则较大，所以采用S型激活函数可以去处理和逼近非线性的输入输出关系。 只有当希望对网络的输出进行限制，如限制在0和1之间， 则输出层用S型激活函数。 一般：隐含层用S型激活函数； 输出层用线性激活函数。 (和教材中的不同－教材均为S型函数！) BP算法的基本思想： 学习过程由信息的正向传递与误差的反向传播两个过程组成 (1)正向传递:输入样本从输入经隐含层逐层计算传向输出层，若输出层的实际输出和期望输出不符，则计算输出层的误差值，然后转向反向传播过程。 (2)误差的反向传播：是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层所有单元，从而获得各层单元的误差信号，此误差做为修正该单元的依据。 信号正向传递和误差反向传播反复进行，权值不断得到调整的过程，就是网络的学习/训练过程。当训练达到规定误差或一定训练次数，则结束训练。 4.1.2 BP学习算法 以三层BP网络为例介绍BP学习算法，可推广到多层情况。 1．网络误差与权值调整 当网络输出与期望输出不等时，存在输出误差E： 由上式，网络输入误差是各层权值wjk、vij的函数，因此调整权值可改变误差E。 显然，调整权值的原则是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比，即 对输出层： 可将权值W调整式改写为 对于隐含层， 可展开为 可见，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定： 学习率η 本层输出的误差信号δ 本层输入信号y(或x) 其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差， 各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。 说明： 在输出层，E是多个ok的函数，但只有一个ok与wjk有关，各ok之间相互独立。故有 3．BP算法的信号流向 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δko。由于隐含层中没有直接给出目标矢量，所以利用输出层的δko进行误差反向传递来求出隐含层权值的变化量ΔWjk。然后计算 并同样通过将ej与该层激活函数的一阶导数f1’相乘，而求得δjy ，以此求出前层权值的变化量ΔVij。如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek一层一层的反推算到第一层为止。下图给出了形象的解释。 4.1.3 BP算法的程序实现 前面导出的算法是标