判别函数确定性分类器PPT.ppt

遥感信息工程学院* §3.3、最小平方误差算法 (LMSE) 前述迭代求解权向量的方法是在模式集线性可分的情况下采用的。但给出一个模式集往往不能预先告知是否线性可分，LMSE算法就是针对这一问题对准则函数引进最小平方误差而建立起来的，它可以在训练过程中判定训练模式集（样本集）是否线性可分，因而可以判断权向量求解的收敛性。 前面我们研究了线性不等式方程组g(x) =WTX0的解法。它们共同点是企图找一个权向量W，使错分样本最小。 现在我们把不等式组变成如下形式：WTXi=bi0 则有联立方程XW=b 这是矛盾方程组，方程数大于未知 数，所以没有精确解的存在。 每个样本有n个特征 §3.3、最小平方误差算法 (LMSE) 定义误差向量：e=XW-b≠0 把平方误差作为准则函数 W的优化就是使J(W)最小。求J(W)的梯度并为0。 §3.3、最小平方误差算法 (LMSE) 一. 伪逆法 求J(W)对W的梯度并令其为0 解上方程得 XTXW=XTb 这样把求解XW=b的问题，转化为对XTXW=XTb求解，这一有名的方程最大好处是因XTX是方阵且通常是非奇异的，所以可以得到W的唯一解。 §3.3、最小平方误差算法 (LMSE) 只要计算出X+就可以得到W 取： 最小平方误差法同Fisher法是一致的。 （MSE 解） 其中N/N1有N1个，N/N2有N2个 §3.3、最小平方误差算法 (LMSE) 二. 梯度法(W-H算法(Widrow-Hoff)) 伪逆法得到的W解为：W=X+b 在计算X+时， 1．? 要求XTX矩阵为非奇异 2．? 由于计算量太大而引入比较大误差 所以要用迭代法来求 计算量很大 §3.3、最小平方误差算法 (LMSE) 求J(W)的梯度 ▽J(W) =2XT(XW-b) 代入迭代公式 W1任意设定 Wk+1 = Wk-ρkXT(XWk-b) 此法可收敛于W值。W满足: XT(XW-b)=0 因此梯度算法不论XTX是否奇异，总能产生一个解。 若训练样本无限的重复出现，则简化为 W1任意 Wk+1=Wk+ρk(bk-WkTXk) Xk ρk随迭代次数k而减少，以保证算法收敛于满意的W值 §3.3、最小平方误差算法 (LMSE) 三. 何-卡氏法(H-K算法(Wo-Kashyap)) （判断迭代过程中是否线性可分） 若训练样本线性可分时，感知器法可求出界面，但对不可分问题不收敛只能取平均。最小平方误差法不论样本是否线性可分都能给出一加权矢量，但不能保证此矢量就是分界矢量，下面介绍一种方法可以检测迭代过程中是否线性可分。 §3.3、最小平方误差算法 (LMSE) 因最小平方误差法的J(W)的解为 因为XW=b b应为正值 c为矫正系数 当（XWk-bk）≤0 时 当（XWk-bk）＞ 0 时 §3.3、最小平方误差算法 (LMSE) 引入误差矢量ek ek=XWk-bk判断是否线性可分 所以J(W)的解为 初始条件 W1=X+b1并且b10 迭代时检测 如果ek≥0时，XW?b，系统线性可分，迭代收敛 如果ek0时，XW?b，系统线性不可分，迭代不收敛 我们用下面的例子来说明ek的作用 因此上式可以写成 §3.3、最小平方误差算法 (LMSE) 例题： ω1={(0,0)T,(0,1)T} ω2={(1,0)T,(1,1)T} 解：正规化 对ω2取负，有 X的规范矩阵为 x2 x1 x1 x2 x3 x4 §3.3、最小平方误差算法 (LMSE) 取b1=(1,1,1,1)T c=1 W1=X+b1=(-2,0,1)T 所以W1为所求解 e1=XW1-b1=0 系统线性可分 因为 §3.3、最小平方误差算法 (LMSE) 解： 取b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1-b1=(-1,-1,-1,-1)T0 系统线性不可分 C为校正系