模式识别三章判别函数.pptx

第三章判别函数及几何分类法;第三章判别函数;;3.1判别函数;3.1判别函数;若分属于ω1，ω2的两类模式可用一方程d(X)=0来

划分，那么称d(X)为判别函数，或称判决函数、

决策函数。;若，则;d(X)表示的是一种分类的标准，它可以是1、2、3维的，

也可以是更高维的。;1）判决函数d(X)的几何性质。它可以是线性的或非线性的函

数，维数在特征提取时已经确定。;;3.2.2线性判别函数的性质;3.2线性判别函数;两分法;;例3.1设有一个三类问题，其判别式为：;1;0;两分法;;与值无关。;;;当ωi/ωj两分法中的判别函数dij(X)，可以分解为;识别分类时：;②除边界区外，没有不确定区域。;例3.5一个三类模式（M=3）分类器，其判决函数为：;类的判决函数：;-;3.2线性判别函数;3.2线性判别函数;3.3广义线性判别函数;3.3广义线性判别函数;1．非线性多项式函数

非线性判别函数的形式之一是非线性多项式函数。;;例3.7假设X为二维模式向量，fi(X)选用二次多项式函数，原判别函数为;3.4线性判别函数的几何性质;(1)模式向量X1和X2在超平面上;(2)X不在超平面上;X到超平面的距离：;3.4.2权空间与权向量解;给ω2的q个增广模式乘以（－1），统一为;例：二维权空间，超平面的方程为：;3.4.3二分法;若限定用线性判别函数，并且样本在模式空间是良好分布的，即在n维模式空间中没有(n+1)个模式位于(n－1)维子空间中，可以证明，N个n维模式用线性判别函数分成两类的方法总数，即线性二分法总数为;例：4个良好分布的2维模式，若用线性判别函数分类;将λ=2时的N值定义为阈值N0，称为二分法能力，即;3.5感知器算法;3.5感知器算法;3.5感知器算法;3.5感知器算法;3）感知器

对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（reward-punishmentconcept）”得到广泛应用。;对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：;c：正的校正增量。;3.收敛性;任取W(1)=0，取c=1，迭代过程为：;;该轮迭代的分类结果全部正确，故解向量;采用多类情况3的方法时，应有：;②若第l个权向量使，则相应的权向量作调整，即：;解：增广向量形式：;第二次迭代：;第四次迭代：……;4、采用感知器算法的多类模式的分类;4、采用感知器算法的多类模式的分类;3.6梯度法;设函数f(Y)是向量的函数，则f(Y)的梯度定义为：;2.梯度算法;;权向量修正为：;3.6梯度法;3.6梯度法;例3.10选择准则函数，，简单地考虑

X为一维增广模式的情况X=1，此时W=w，两者均为标量，;;;部分：;其中;;;3.6.2固定增量法;3.6.2固定增量法;3.7最小平方误差算法

（leastmeansquareerror,LMSE；亦称Ho-Kashyap算法）

;1.分类器的不等式方程;;式中：;2.LMSE算法;;考察向量(XW－B)有：;可以看出：

①当函数J达到最小值，等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。

②因为J有两个变量W和B，有更多的自由度供选择求解，故可望改善算法的收敛速率。;;(2)求B(k+1)的迭代式;;总结：设初值B(1)，各分量均为正值，括号中数字代表迭代次数。;3）模式类别可分性判别;;综上所述：只有当e(k)中有大于零的分量时，才需要继续迭代，一旦e(k)的全部分量只有0和负数，则立即停止。事实上，往往早在e(k)全部分量都达到非正值以前，就能看出其中有些分量向正值变化得极慢，可及早采取对策。;……;(5)计算W(k+1)和B(k+1)。;例3.11已知两类模式训练样本：;Aij是aij的代数余子式，注意两者的行和列的标号互换。;;(3)取和c=1开始迭代：;图示如下：;例3.12已知模式训练样本：