模式识别论本(三).pptVIP

具体说来，若已知两个模式样本集，它们分属于ω1类和ω2类，在确定权向量初值W（1）之后，即开始利用它对全部模式样本进行判别。如果第k次判别中，取 ，而Wt(k)Xk≤0，因此分类器对它将作错误判别，这里Xk表示第K次试验中所采用的模式，Wt(k)表示第K次判别所采用的权向量，由于判别失误，故校正权向量，有 w(k+1)=w(k)+CXk (3-3-1) 其中C为大于零校正系数 如果 ,Wt(k)Xk≥0，同样也会得到错误判断，但此时权向量按下式校正： w(k+1)=w(k)-CXk (3-3-2) 如果在第K次判别时，可以得到正确分类，则权向量不变： w(k+1)=w(k) (3-3-3) 以上就是感知器算法的基本原理。若对属于ω2类的模式样本乘以（－1），则（3—3—2）与（3—3—1）完全一致，这样，感知器算法可以统一写为 例题：有两类样本 ω1=（x1,x2）={(1,0,1),(0,1,1)} ω2=（x3,x4）={(1,1,0),(0,1,0)} 解：先求四个样本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假设初始权向量 w1=(1,1,1,1) c=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正w1 w2=w1-x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正w2 w3=w2-x4=(0,-1,1,-1) 第一次迭代后,权向量w3=(0,-1,1,-1),再进行第2,3,…次迭代 如下表 训练样本 修正式 修正后的权值wk＋1 迭代次数 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1-x3 w2-x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 -1 ? 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 - w3+x1 w4 w4-x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 -1 ? 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + - - - w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 ? 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + - - w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 ? 4 直到在一个迭代过程中权向量相同，训练结束。 w6=w=(0,1,3,0) 判别函数g(x)= -x2+3x3 感知器算法只对线性可分样本有收敛的解,对非线性可分样本集会造成训练过程的振荡,这是它的缺点. 最小平方误差准则(MSE法） 前述迭代求解权向量的方法是在模式集线性可分的情况下采用的。但给出一个模式集往往不能预先告知是否线性可分，LMSE算法就是针对这一问题对准则函数引进最小平方误差而建立起来的，它可以在训练过程中判定训练模式集（样本集）是否线性可分，因而可以判断权向量求解的收敛性。 对于两类问题: 如果将属于 第二式也可写成与第一式一样的形式，权向量的求解问题就成为不等式xw0的求解问题，其中每一模式样本都写成增广向量。 的模式乘以（-1），则 w=(w1,w2,…wn,wn+1)t 若把xw0,改写为xw=b 其中b=(b1,b2,…bn)t，其所有分量都为正值。这与不等式xw0是同一意义，求解不等式等价于求解方程XW=b。对于W的估计量 定义误差向量：e=XW-b≠0 把平方误差作为目标函数 W的优化就是使J(W)最小。求J(W)的梯度并为0。 解上方程得 XTXW=XTb 这样把求解XW=b的问题，转化为对XTXW=XTb求解，这一有名的方程最大好处是因XTX是方阵且通常是非