第三章 bp算法.pptVIP

第三章 前馈神经网络 3.4误差反传（BP）算法 本文章为打击扣去财富值的行为而传的 回顾 3.1单层感知器 模型：单计算节点感知器实际上就是一个M-P神经元模型 功能：解决线性可分问题 局限性：不能解决线性不可分问题 学习算法：有导师学习 3.2多层感知器 模型：有隐层的多层前馈网络 功能：能够求解非线性问题 局限性：隐层神经元的学习规则尚无所知 3.3BP算法及改进－主要内容 引言 基于BP算法的多层前馈网络模型 BP算法的实现 基本思想 推导过程 程序实现 BP学习算法的功能 BP学习算法的局限性 BP学习算法的改进 引言－－BP算法的提出 提高网络性能（如分类能力）的有效途径 包含隐层的多层前馈网络 长期以来没有提出解决权值调整问题的有效算法。 非线性连续转移函数 BP (Error Back Proragation，BP)算法 1986年，Rumelhart 和McCelland领导的科学家小组《Parallel Distributed Processing》一书 应用对象：多层前馈网络 具有非线性连续转移函数 3.4误差反传（BP）算法 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ 3.4.2 BP学习算法 3.4.2 BP学习算法 3.4.2 BP学习算法 3.4.2 BP学习算法 北京工商大学信息工程学院 * 北京工商大学信息工程学院 前面已指出，含有隐层的多层前馈网络能大大提高网络的分类能力，但长期以来没有提出解决权值调整问题的有效算法。1986年，Rumelhart 和McCelland领导的科学家小组在《Parallel Distributed Processing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播(Error Back Proragation，简称BP)算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网。 采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层前馈网的应用中，以图3.16所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。 对于输出层，有 k=1,2,…,l (3.7) k=1,2,…,l (3.8) 对于隐层，有 j=1,2,…,m (3.9) j=1,2,…,m (3.10) 以上两式中，转移函数f(x)均为单极性Sigmoid函数 (3.11) f(x)具有连续、可导的特点。 根据应用需要，也可以采用双极性Sigmoid函数(或称双曲线正切函数) 式(3.7)～(3.11)共同构成了三层前馈网的数学模型。 下面以三层前馈网为例介绍BP学习算法，然后将结论推广到一般多层前馈网的情况。 一、网络误差与权值调整 当网络输出与期望输出不等时，存在输出误差E，定义如下 将以上误差定义式展开至隐层，有 进一步展开至输入层，有 由上式可以看出，网络输入误差是各层权值wjk、vij的函数，因此调整权值可改变误差E。 调整权值的原则显然是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比，即