前馈型神经网络模型ppt课件.pptVIP

第三章 前馈型神经网络模型 ;第三章 前馈型神经网络模型 ;3.7 基于算法的前馈型神经网络在识别问题中的应用 3.8 自适应线性元件 3.9 径向基函数神经网络 ;3.1 感知器（Perception） ;3.1.1 单层感知器 ;w21; 二、单层感知器的学习算法 令Wn+1=θ, Xn+1=-1, 则， 具体算法如下： ①初始化 给Wi(0)各赋一个较小的随机非零值。这里Wi(t)为t时刻第i个输入的权值（1≤i≤n）,Wn+1(t)为t时刻的阈值。 ②输入样本X=(X1,X2,…,Xn,T),T 称为教师信号，在两类样本分类中，如果X∈A类，则T=1；如果X∈B类，则T=-1。; ③计算实际输出 ④修正权值 Wi(t+1)= Wi(t)+η(T-Y(t))Xi i=(1,2,…,n,n+1) 其中，0η≤1用于控制修正速度，通常η不能太大，会影响Wi(t)的稳定，也不能太小，会使Wi(t)的收敛速度太慢。 ⑤转到②直到W对一切样本均稳定不变为止。 用单层感知器可实现部分逻辑函数，如： X1∧X2： Y=1·X1+1·X2-2 即W1=W2=1,θ=2 X1∨X2： Y=1·X1+1·X2-0.5 即W1=W2=1,θ=0.5 ： Y=(-1)·X1+0.5 即W1=-1，θ=-0.5;三、单层感知器的局限性 异或逻辑为 ，假定单层感知器能实现异或逻辑，那么，Y=W1X1+W2X2-?，要求： 表 3.1 异或逻辑 ; W1+W2-?0?W1+W2? 0+0- ?0?0? W1+0-??0?W1? 0+W2-??0?W2? (a) XOR 逻辑 (b)AND逻辑 (c) OR逻辑 图 3.3 线性可分性 ; 3.1.2 感知器的收敛定理 ; 表3.2 三维异或逻辑;图 3.4 异或问题的三维表示 ;14; 二、定理3.1 感知器收敛定理 若函数f是线性可分的，则感知器的学习算法在有限次叠代后收敛。为证明此定理，先做一些简化。 (1)令‖Xk‖=1(即学习样本都是单位向量)； (2)若Yk0，则用-Xk代替Xk，因而对所有的k，都有Yk0(因f是线性可分的)； 这样，要证明上述定理只要证明以下的结论即可。; 因为k个样本是线性可分的，若存在一个W*，对所有的样本k使得W*·Xkδ 都成立，δ0。则下面步骤中的第④步仅需有限次。 ①置t=1，选初值W(t)为不等于0??值； ②任选k∈{1,N}，置X(t)=Xk； ③若W(t)·X(t)≧0 返回②，否则 ④令W(t+1)=W(t)+X(t),t=t+1, 返回②。 ;证明 ： C(t)表示向量W(t)与W*间夹角余弦，即 W*·W(t+1)=W*·[W(t)+X(t)]=W*·W(t)+W*·X(t)≧W*·W(t)+δ ∴ W*·W(t)≧tδ ‖W(t+1)‖2=‖W(t)‖2+2W(t)·X(t)+‖X(t)‖2‖W(t)‖2+1 ∴ ‖W(t)‖2t ， ∵ C(t)1， ∴ 为一有限数。 证毕。 ; 3.1.3 多层感知器网络 ; (A) 两个隐层的感知器 图3.5 多层感知器网络 ; 二、多层感知器的分类决策能力 定理 3.2 假定隐层的节点可以根据需要自由设置，那么用三层的阈值网络可以实现任意的二值逻辑函数。 图3.5(B)中输出层节点的输出为： 此时隐层与n个输入节点的关系如同单层感知器一样，可以形成n1个n维空间的超平面把n维输入空间分成一些小的子空间。例如，n=2，n1=3的情况下，隐层第j个节点的输出为： (j=1,2,3);