第4讲前馈神经网络BP神经网络.doc

第4讲：前馈神经网络-BP神经网络 前馈神经网络-BP神经网络（配合PPT讲解） 感知器神经网络的学习规则和LMS学习算法智能训练单层神经网络，而单层神经网络智能解决线性可分的分类问题。多层神经网络可以用于非线性分类问题，但需要寻找训练多层网络的学习算法。 1974年P.Werbos在其博士论文中提出了第一个适合多层网络的学习算法，但该算法并未受到足够的重视和广泛的应用，知道20世纪80年代中期，美国加利福尼亚的PDP（parallel distributied procession）小组于1986年发表了Parallel Distributed Processing一书，将该算法应用于神经网络，称之为BP神经网络。在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%~90%的人工神经网络模型是采用BP网络或它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法（BP算法） 它是一种多层前馈神经网络，其神经元的变换函数是S型函数 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射 实质：多层前馈神经网络，输出是连续函数，神经元的变换函数是S型函数不同于感知器。 二、解决的（处理的）问题 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数； 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储。 三、输入输出关系 第q层q=1，2，…，Q 第i个结点输入： ， 其中： ：q-1层的第j个结点的输出到q层第i个结点的连接权系数 第i个结点输出： 其中：i=1，2，…n，j=1，2，…n 其中：p=1，2，…，P 响应函数： 其中：μ=1，由于s函数取值[-1，1] 对于多层网络，这种激励函数所划分的区域不再是线性划分，而是由一个非线性的超平面组成的区域。 因为S型函数具有非线性的大系数功能。它可以把输入从负无穷到正无穷大的信号变换成－1到＋1之间输出，所以采用S型函数可以实现从输入到输出的非线性映射。 四、学习算法规则 已知网络的输入/输出样本，即导师信号。 BP学习算法由正向传播和反向传播组成： 正向传播：是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。 反向传播：是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。 一）注意：正、反向传播计算 BP神经网络结构图 1.信息的正向传递 隐含层中第i个神经元的输出为： （1） 其中：i=1，2，…n，j=1，2，…n （2） 其中：i=1，2，…n，=1，2，…n 其中 （3） 2.利用梯度下降法求权值变化及误差的反向传播 第i个结点输入： ， 其中：； ； ：q-1层的第j个结点的输出到q层第i个结点的连接权系数；第q层：q=1，2，…，Q 第i个结点输出： 其中：i=1，2，…nq，j=1，2，…nq-1 其中：p=1，2，…，P 响应函数： 其中：μ=1，由于s函数取值[-1，1] 权值： 其中：学习系数， 定义误差函数为（误差代价函数）： 其中 其中：i=1，2，…n，j=1，2，…n-1， 注意：①对于输出层，调只影响，受前一层第j个结点影响 ②对于隐层，调只影响高层所有结点的输出 √ √ （； ） （4） √ （5） √（输出层权值调整公式） （6） 注意下标： √其中：i=1，2，…n，j=1，2，…n-2， （7） （隐层权值调整公式） （8） 二）MATLAB实现 在MATLAB工具箱中，上述公式的计算均已编成函数的形式，通过简单的书写调用即可方便地获得结果。具体有： 1、对于(1)式所表示的隐含层输出，若采用对数S型激活函数，则用函数logsig.m；若采用双曲正切S型激活函数，则用函数tansig.m； 2、对于(2)式所表示的输出层输出，若采用线性激活函数有purelin.m与之对应； 3