模式识别第二章(线性判别函数法)课件.ppt

第二章 线性判别函数;*;*;*;*;*;*;*;*;*;*;*;*;若分属于ω1，ω2的两类模式可用一方程d(X) =0来 划分，那么称d(X) 为判别函数，或称判决函数、 决策函数。;若 ，则; d(X) 表示的是一种分类的标准，它可以是1、2、3维的， 也可以是更高维的。;1）判决函数d(X)的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;(1) 明确概念：线性可分。;*;*;*;*;*;*;*;*;*;采用多类情况3的方法时，应有：;② 若第l个权向量使 ，则相应的权向量作调整，即：;解：增广向量形式：;第二次迭代： ;第四次迭代： … … ;*;*;*;*;*;2.7 最小平方误差算法;*;*;*;1. 分类器的不等式方程;;式中：;2. LMSE算法;;考察向量(XW－B) 有：;可以看出： ① 当函数J达到最小值，等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。 ② 因为J有两个变量W和B，有更多的自由度供选择求解，故可望改善算法的收敛速率。;;(2) 求B(k+1)的迭代式;;总结：设初值B(1)，各分量均为正值，括号中数字代表迭代次数 。;3）模式类别可分性判别;; 综上所述：只有当e(k)中有大于零的分量时，才需要继续迭 代，一旦e(k)的全部分量只有0和负数，则立即停止。事实上，往 往早在e(k)全部分量都达到非正值以前，就能看出其中有些分量 向正值变化得极慢，可及早采取对策。;……;(5) 计算W(k+1)和B(k+1)。;例3.11 已知两类模式训练样本： ; Aij是aij的代数余子式，注意两者的行和列的标号互换。 ;;(3) 取 和 c=1 开始迭代：;图示如下：;例3.12 已知模式训练样本： ，; e(1)全部分量为负，无解，停止迭代。为线性不可分模式。 ;小结：;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*