BP网络浅谈.pptVIP

Company Logo LOGO BP网络浅谈 1、综述 2、BP网络出现历史 3、BP网络的原理 4、BP网络的拓扑结构 5、BP网络的传递函数 6、BP网络的学习算法 7、总结 主要内容 1、综述 BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络。 BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。 BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。 1、综述 在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 2、BP网络出现历史 2.1 简单神经网络 最简单的神经网络结构，也即MP模型的结构： 单层感知器简单，但它只能分析线性问题。 2、BP网络出现历史 2.2 多层感知器 所谓多层感知器，就是在输入层和输出层之间加入隐层，以形成能够将样本正确分类的凸域。 随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上，Kolmogorov理论指出：双隐层感知器就足以解决任何复杂的分类问题。 多层感知器确实是非常理想的分类器，但问题也随之而来：隐层的权值训练问题---对于各隐层的节点来说，它们并不存在期望输出，所以也无法通过感知器的学习规则来训练多层感知器。 2、BP网络出现历史 2.3 BP神经网络的诞生 David E.Rumelhart以及James L.McCelland研究小组发表的《并行分布式处理》。对具有非线性连续变换函数的多层感知器的误差反向传播(Error Back Propagation)算法进行了详尽的分析。 Error Back Propagation算法的简称就是BP算法，以BP算法实现的多层感知器网络就是BP网络。所以，BP网络本质上并不是一个新的网络，而是使用BP学习算法的多层感知器网络。 2、BP网络出现历史 3、BP网络的原理 多层感知器在如何获取隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？ BP算法就是采用这样的思想设计出来的算法，它的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。 正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。 反向传播时，将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。 3、BP网络的原理 4、BP网络的拓扑结构 BP网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑结构相同。由于单隐层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。三层感知器的拓扑结构： 5、BP网络的传递函数 BP网络采用的传递函数是非线性变换函数——Sigmoid函数（又称S函数）。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。S函数有单极性S型函数和双极性S型函数两种。 单极性S型函数：f(x)=1/(1+e?x) 其函数曲线如图： 双极性S型函数：f(x)=(1?e?x)/(1+e?x) 其函数曲线如图： 5、BP网络的传递函数 6、BP网络的学习算法 BP网络的学习算法就是BP算法，又叫 δ 算法，以三层感知器为例，当网络输出与期望输出不等时，存在输出误差 E 定义为： 将以上误差定义式展开至隐层： 进一步展开至输入层有： 由上式可以看出，网络输入误差是各层权值ωjκ、υij的函数，因此调整权值可改变误差 E。 显然，调整权值的原则是使误差不断减小，因此应使权值与误差的梯度下降成正比，即： 6、BP网络的学习算法 对于一般多层感知器，设共有 h 个隐层，按前向顺序各隐层节点数分别记为 m1,m2,…,mh，各隐层输出分别记为 y1,y2,…,yh，各层权值矩阵分别记为 W1,W2,…,Wh, Wh+1，则各层权值调整公式为： 输出层： 第 h 隐层： 按以上规律逐层类推，则第一隐层权值调整公式为： 6、BP网络的学习算法 容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即： 学习率 η 本层输出的误差信号 δ 本层输