第三章前馈神经网络的.ppt

第三章 前馈神经网络;前馈神经网络是神经网络中的一种典型的分层 结构，信息从输入层进入网络后逐层向前传递 至输出层。根据前馈网络中神经元转移函数、 隐层数以及权值调整规则的不同，可以形成具 有各种功能特点的神经网络。; §3.1 感知器 §3.2 自适应线性单元 §3.3 BP网络 §3.4 BP网络变通结构 §3.5BP网络学习算法的改进 §3.6BP网络设计基础 §3.7 BP网络应用与设计实例 §3.8 小结;1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对说解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了非常重要的推动作用。 单层感知器的结构和功能都很简单，以至于在解决实际问题是很少采用，但由于它在神经网络研究中具有重要意义，是研究其他网络的基础，而且较易学习和理解，适合于作为神经网络的起点。;3.1.1 感知器模型;净输入：;;感知器的功能（二维）;wij x1+w2j x2 – Tj = 0 wij x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / wij = - ( w2j/ wij ) x2 +Tj / wij = a x2 +c ;设输入向量X=(x1,x2,x3)T;wij x1+w2j x2 +w3j x3– Tj = 0 x1 = a x2 +b x3 +c ;设输入向量X=(x1, x2, …, xn)T; 一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。;例 用感知器实现逻辑“与”功能;例一 用感知器实现逻辑“与”功能;例 用感知器实现逻辑“或”功能;用感知器实现逻辑“或”功能;问题：能否用感知器实现“异或”功能？;关键问题就是求 ;3.1.3感知器的学习;感知器学习规则的训练步骤：;(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m；;感知器学习规则的训练步骤：;例 单计算节点感知器，3个输入。给定3对训练样本对如下：;解：第一步 输入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 ;第二步 输入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 ;第三步 输入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1)=-1;3.1.4单层感知器的局限性;3.1.4单层感知器的局限性;双层感知器;给出具有一个具有单隐层的感知器，其中隐层的两个节点相当于两个独立的符号单元（但计算节点感知器）。这两个符号单元可分别在由x1、x2构成的平面上确定两条分界直线S1和S2，从而构成一个开放式凸域。显然通过适当调整两条直线的位置，可使两类线性不可分样本分别位于该开放式凸域内部和外部。此时对于隐节点1来说，直线S1下面的样本使其输出y1=1，而直线上面的样本使其输出为y2=1，而直线下面的样本使其输出为y2=0。 当输入样本为o类时，其位置位于开放式凸域外部，即或者同时同时处在两直线S1、S2上方，使y1=0，y2=1；或者同时处在两直线S1、S2下方，使y1=1，y2=0。 输出层节点一隐层两节点的输出y1、y2作为输入，其结构也相当于一个符号单元。如果经过训练，使其具有逻辑“与非”功能，则疑惑问题即可得到解决。根据“与非”逻辑，当隐节点输出为y1=1，y2=1时，该节点输出为o=0，当隐节点输出为y1=1，y2=0时，或y1=0，y2=1时，该节点输出o=1。可以看出单隐层感知器确实可以解决异或问题，因此具有解决线性不可分问题的能力。 ;多层感知器的提出;3.1.5多层感知器;⊿Wj(t)=?[dj-oj (t)]X;§3.2自适应线性单元;§3.3 BP网络;误差反向传播算法简称BP算法，其基本思想是最小二乘法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层