第二讲-感知器.ppt

********************************************训练结束后得到如图所示的分类结果，分类线将两类输入矢量分开，其相应的训练误差的变化如图所示。这说明经过4步训练后，就达到了误差指标的要求.分类结果误差变化曲线下面给出本例的MATLAB程序%Examplepre.m?%NEWP——建立一个感知器神经元%INIT——对感知器神经元初始化%TRAIN——训练感知器神经元%SIM——对感知器神经元仿真pause%敲任意键继续clc%P为输入矢量P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.51.0];%T为目标矢量T=[1100];pause%绘制输入矢量图plotpv(P,T);pause%定义感知器神经元并对其初始化net=newp([-0.50.5;-0.51],1);net.initFcn=initlay;net.layers{1}.initFcn=initwb;net.inputWeights{1,1}.initFcn=rands;net.layerWeights{1,1}.initFcn=rands;net.biases{1}.initFcn=rands;net=init(net);echooffk=pickic;ifk==2net.iw{1,1}=[-0.81610.3078];net.b{1}=[-0.1680];endechoonplotpc(net.iw{1,1},net.b{1})pause%训练感知器神经元net=train(net,P,T);pause%绘制结果分类曲线plotpv(P,T)plotpc(net.iw{1,1},net.b{1});pause%利用训练完的感知器神经元分类p=[-0.5;0];a=sim(net,p)echooff感知器学习算法的收敛性定理：如果样本输入函数是线性可分的，那么感知器学习算法经过有限次迭代后，可收敛到正确的权值或权向量.可证：在训练样本Xk,k=1,2,…,N是线性可分时，采用上式的学习方法，在有限次迭代后，必能得到正确解.3.2感知器的学习算法-收敛性定理为证明此定理,不失一般性,先对该分类问题做一些假设：A1:??输入样本Xk,k=1,2,…,N全部归一化，即||Xk||=1；A2:?对最优权向量W*,有||W*||=1.A3:??如果样本可分，那么任意给定的一个输入样本Xk，要么属于某一区域F＋，要么不属于这一区域，记为F－，F＋和F－构成了整个线性可分的样本空间.在这里仅讨论Xk∈F＋的情况.3.2感知器的学习算法-收敛性定理证明：因为N个样本线性可分，所以存在单位权向量W*和一个较小的正数d0，使得W*TXk≥d对所有的样本输入Xk都成立，任意权值向量W和最优权值向量W*之间的余弦角cosα为 由学习律可得W(k+1)=W(k)+μX(k),μ是学习系数. 上式左乘W*可得W*WT(k+1)=W*[WT(k)+μXT(k)]≥W*WT(k)+μd从k=0迭代,可得W*WT(k)≥W*WT(0)+kμd 3.2感知器的学习算法-收敛性定理选择W(0)∈Xk，满足W*Xk0，此时有W*WT(k)≥kμd 在W(k)未达到W*时，W(k)XT(k)0，所以 迭代可得： 所以, 由于余弦值S(k)≤1，当W(k)=W*时，S(k)=1，于是我们求解得到这说明在μ和d选定后，可以在有限的次数k达