前馈型神经网络模型课件.ppt

87 第三章 前馈型神经网络模型 第三章 前馈型神经网络模型 3.1 感知器（Perception） 3.2 多层前馈型神经网络 3.3 误差逆传播算法（BP算法） 3.4 误差逆传播算法(BP算法)的若干改进 3.5 使用遗传算法(GA)训练前馈型神经网络方法 3.6 前馈型神经网络结构设计方法 3.7 基于算法的前馈型神经网络在识别问题中的应用 3.8 自适应线性元件 3.9 径向基函数神经网络 3.1 感知器（Perception） 3.1.1 单层感知器 3.1.2 感知器的收敛定理 3.1.3 多层感知器网络 3.1.4 感知器用于分类问题的算例 3.1.1 单层感知器 一、单层感知器网络 单层感知器神经网络，输入向量为X=（X1,X2,…,Xm），输出向量为Y=(Y1,Y2,…,Yn)。 感知器的输入向量为X∈Rn, 权值向量为W∈Rn单元的输出为Y∈{1,-1}。其中： 其中，Xˊ= (X,-1),Wˊ= (W,θ)。 二、单层感知器的学习算法 令Wn+1=θ, Xn+1=-1, 则， 具体算法如下： ①初始化 给Wi(0)各赋一个较小的随机非零值。这里Wi(t)为t时刻第i个输入的权值（1≤i≤n）,Wn+1(t)为t时刻的阈值。 ②输入样本X=(X1,X2,…,Xn,T),T 称为教师信号，在两类样本分类中，如果X∈A类，则T=1；如果X∈B类，则T=-1。 ③计算实际输出 ④修正权值 Wi(t+1)= Wi(t)+η(T-Y(t))Xi i=(1,2,…,n,n+1) 其中，0η≤1用于控制修正速度，通常η不能太大，会影响Wi(t)的稳定，也不能太小，会使Wi(t)的收敛速度太慢。 ⑤转到②直到W对一切样本均稳定不变为止。 用单层感知器可实现部分逻辑函数，如： X1∧X2： Y=1·X1+1·X2-2 即W1=W2=1,θ=2 X1∨X2： Y=1·X1+1·X2-0.5 即W1=W2=1,θ=0.5 ： Y=(-1)·X1+0.5 即W1=-1，θ=-0.5 三、单层感知器的局限性 异或逻辑为 ，假定单层感知器能实现异或逻辑，那么，Y=W1X1+W2X2-?，要求： 表 3.1 异或逻辑 W1+W2-?0?W1+W2? 0+0- ?0?0? W1+0-??0?W1? 0+W2-??0?W2? (a) XOR 逻辑 (b)AND逻辑 (c) OR逻辑 图 3.3 线性可分性 3.1.2 感知器的收敛定理 一、线性可分函数 对给定的X和Y，存在W和θ和线性映像函数f ，使得： f：Rn → {1,-1}, X∈Rn, 则称 f为线性可分函数。 所谓的线性可分是指存在一个超平面（二 维为一条直线）能将两类样本分开。 对于上面的异或逻辑可用一个平面将其输出类别分开。平面方程为： X1W1+X2W2+X3W3=θ， X1W1+X2W2+(X1∧X2)W3=θ。 表3.2 三维异或逻辑 图 3.4 异或问题的三维表示 二、定理3.1 感知器收敛定理 若函数f是线性可分的，则感知器的学习算法在有限次叠代后收敛。为证明此定理，先做一些简化。 (1)令‖Xk‖=1(即学习样本都是单位向量)； (2)若Yk0，则用-Xk代替Xk，因而对所有的k，都有Yk0(因f是线性可分的)； 这样，要证明上述定理只要证明以下的结论即可。 因为k个样本是线性可分的，若存在一个W*，对所有的样本k使得W*·Xkδ 都成立，δ0。则下面步骤中的第④步仅需有限次。 ①置t=1，选初值W(t)为不等于0的值； ②任选k∈{1,N}，置X(t)=Xk；