前馈神经网络课件.pptVIP

第三章前馈神经网络;前馈神经网络是神经网络中的一种典型的分层

结构，信息从输入层进入网络后逐层向前传递

至输出层。根据前馈网络中神经元转移函数、

隐层数以及权值调整规则的不同，可以形成具

有各种功能特点的神经网络。;

§3.1感知器

§3.2自适应线性单元

§3.3BP网络

§3.4BP网络变通结构

§3.5BP网络学习算法的改进

§3.6BP网络设计基础

§3.7BP网络应用与设计实例

§3.8小结;3.1.1感知器模型;净输入：;;感知器的功能（二维）;设输入向量X=(x1,x2,x3)T;设输入向量X=(x1,x2,…,xn)T;例用感知器实现逻辑“与”功能;例一用感知器实现逻辑“与”功能;例用感知器实现逻辑“或”功能;用感知器实现逻辑“或”功能;问题：能否用感知器实现“异或”功能？;3.1.3感知器的学习;感知器学习规则的训练步骤：;感知器学习规则的训练步骤：;例单计算节点感知器，3个输入。给定3对训练样本对如下：;第二步输入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1;第三步输入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1;3.1.4单层感知器的局限性;双层感知器;给出具有一个具有单隐层的感知器，其中隐层的两个节点相当于两个独立的符号单元（但计算节点感知器）。这两个符号单元可分别在由x1、x2构成的平面上确定两条分界直线S1和S2，从而构成一个开放式凸域。显然通过适当调整两条直线的位置，可使两类线性不可分样本分别位于该开放式凸域内部和外部。此时对于隐节点1来说，直线S1下面的样本使其输出y1=1，而直线上面的样本使其输出为y2=1，而直线下面的样本使其输出为y2=0。

当输入样本为o类时，其位置位于开放式凸域外部，即或者同时同时处在两直线S1、S2上方，使y1=0，y2=1；或者同时处在两直线S1、S2下方，使y1=1，y2=0。

输出层节点一隐层两节点的输出y1、y2作为输入，其结构也相当于一个符号单元。如果经过训练，使其具有逻辑“与非”功能，则疑惑问题即可得到解决。根据“与非”逻辑，当隐节点输出为y1=1，y2=1时，该节点输出为o=0，当隐节点输出为y1=1，y2=0时，或y1=0，y2=1时，该节点输出o=1。可以看出单隐层感知器??实可以解决异或问题，因此具有解决线性不可分问题的能力。;多层感知器的提出;3.1.5多层感知器;⊿Wj(t)=?[dj-oj(t)]X;§3.2自适应线性单元;§3.3BP网络;误差反向传播算法简称BP算法，其基本思想是最小二乘法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。

BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。;基于BP算法的多层前馈网络模型;模型的数学表达

输入向量：X=(x1,x2,…,xi,…,xn)T

隐层输出向量：Y=(y1,y2,…,yj,…,ym)T

输出层输出向量：O=(o1,o2,…,ok,…,ol)T

期望输出向量：d=(d1,d2,…,dk,…,dl)T

输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)

隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)

各个变量之间如何建立联系，来描述整个网络？;对于输出层：;双极性Sigmoid函数：;输出误差E定义：;进一步展开至输入层：;j=0,1,2,…,m;k=1,2,…,l(3.9a);对于输出层，式(3.9a)可写为;综合应用式(3.2)和(3.11a)，可将式(3.10a)的权值调整式改写为;对于输出层，?o可展开为;对于输出层，利用式(3.6)：;将以上结果代入式(3.13)，并应用式(3.15);将式(3.15)代回到式(3.12)，得到三层前馈网的BP学习算法权值调整计算公式为：;51;BP学习算法流程：

1)初始化置所有权值为最小的随机数；

2)提供训练集给定输入向量和期望的目标输出向量；

3)计算实际输出计算隐含层、输出层各神经元输出；

4)计算目标值与实际输出的偏差；

5)计算局部梯度；

6)调整各层权重；

7