2模式识别原理课件-第3章判别函数及几何分类法..ppt

2. 求W(k+1) 将 代入 得： 由此可以看出，感知器算法是梯度法的特例。即：梯度法是将感知器算法中联立不等式求解W的问题，转换为求函数J极小值的问题，将原来有多个解的情况，变成求最优解的情况。 上式即为固定增量算法，与感知器算法形式完全相同 。 即： 只要模式类是线性可分的，算法就会给出解。 3.7 最小平方误差算法 （least mean square error, LMSE；亦称Ho-Kashyap算法） 上述的感知器算法、梯度算法、固定增量算法或其他类 似方法，只有当模式类可分离时才收敛，在不可分的情况下， 算法会来回摆动，始终不收敛。当一次次迭代而又不见收敛 时，造成不收敛现象的原因分不清，有两种可能： a) 迭代过程本身收敛缓慢 b) 模式本身不可分 对可分模式收敛。 对于类别不可分的情况也能指出来。 LMSE算法特点： 1. 分类器的不等式方程 两类分类问题的解相当于求一组线性不等式的解。如果给 出分属于 ， 两个模式类的训练样本集 ， 应满足： 其中，Xi是规范化增广样本向量，