数字视频图像处理与通信第8章.pptVIP

BP网络结构 （1）单隐层BP网络 BP网络通常有一个或多个隐层，隐层中的神经元均采用S型激活函数，输出层神经元采用线性传递函数，如果BP网络的最后一层采用S型激活函数，那么整个网络的输出就被限制在一个较小的范围内；如果BP网络的最后一层采用线性激活函数，那么整个网络的输出可以取任意值 具有一个隐层的BP网络 双隐层BP网络 具有两个隐层的BP网络 分析1 设输入向量为n+1维，其中 为第一隐层中激活函数的阈值，将其增光到输入量中，作为一个分量 ，即 ， ，输入量 可以是离散量{0，1}或{-1，1}，也可以是连续量；网络含有两个隐层，设第一隐层有 个神经元，于是该层的输出向量 ， ，第二隐层有 个神经元，其输出向量 ， ；输出层有m个神经元，于是网络的输出量 ， 分析2 第一隐层和第二隐层神经元均采用S型对数激活函数，输出神经元采用线性激活函数。网络中各层神经元的输出为： 为了方便讨论，将神经元的阈值θ视为连接权来处理，即 ， ， 于是上式写为如下形式 BP学习算法 BP算法通常应用最速下降法。 工作信号（用实线表示），它是施加输入信号后向前传播知道在输出端产生实际输出的信号，它是输入和权值的函数。 误差信号（用虚线表示），实际输出与应有输出之间的差值即为误差，它由输出端开始逐层向后传播。 分析 网络的信号传送是由两部分组成，即正向传播与反向传播，在正向传播阶段，学习样本送入传输层，经隐层逐层运算后，传至输出层，每一层神经元的状态只影响下一层神经元，如果在输出层没有得到期望的输出结果，即网络的实际输出与期望输出之间存在误差，则计算输出层的误差变化值，然后输入误差反向传播阶段，这是误差信号沿着原来的连接西欧那个输出层返回至输入层，并逐层调整连接权值，以使误差达到最小。 由于输出层对产生误差的调整，首先必须通过改变隐层与输出层之间的连接权来实现，而隐层要能对输出层反传过来的误差，也须调整前一隐层（或输入层）与它之间的连接权值，如此进行下去，这就是BP网络学习过程的一个重要特点。 BP网络权值的调整原理 以多层前反馈网络为例，进行BP算法的推导。设输入的学习样本有α个： ，对应的教师信号（即输出的期望值）为 。在此用这α个样本对 ，p=1，2，……，α对网格进行训练。当第p个样本对输入到网络后，正向传播阶段经各层运算，网络的实际输出值 ，l=1，2，……，m。将其与期望值相比较，可在第p个输入模式后输出方差为 若输入所有α个样本对经正向传递运算后，则网络的总误差为 BP网络权值的调整原理（续） 应用最速下降法，反向调整各层连接权值，使误差达到最小。设 为网络任意两个神经元之间的连接权，沿负梯度方向调整连接权 的修正量为 设n为迭代次数，应用梯度法可得网络各层连接权的迭代关系式为 逐层反向传播的调整规律 第二隐层至输出层的连接权修正量为 令上式中 故可改写为 式中， 为学习速度，其值通常在0.01~1.0之间， 为输出神经元的实际误差； 为在第p个输入样本对作用下，输出神经元l的等效误差，即 逐层反向传播的调整规律（续） 第一隐层至第二隐层的连接权修正量为 式中， 为在第p个输入样本下，“分摊”给第二隐层神经元k的等效误差，其值为 逐层反向传播的调整规律（续） 第一隐层至输入层的连接权修正量为 式中， 为在第p个输入样本对作用下，“分摊”给第一隐层神经元j的等效误差，其值为 讨论（1） BP网络连接权的调整，按递推关系式进行，其一般表达式为 可知，BP网络任意连接权的修正量，取决了该连接权输出端点的等效误差 和输入端点的实际信号 。 误差反向传播过程示意图 等效误差由输出层向输入层逐层反向传播产生。 误差反向传播过程示意图 权值修正方式 连接权值修正的方式有批处理方式与模式处理两种。以上介绍的属于批处理方式，即网络连接权的修正，是输入所有学习样本对并计算网络的总误差后，才按负梯度方向进行调整，批处理方式可避免逐个样本对作权值修正时可能引起的震荡。 而模式处理是每输入一样本对，就对网络的所有连接权值修正一次。此时，迭代的基本关系式与上述的相类似，所不同的只是在模