模式识别判别函数概要1.pptx

模式识别;第三章 判别函数;3.1 判别函数;3.1 判别函数;3.1 判别函数;3.1 判别函数;3.1 判别函数;3.2 线性判别函数;3.2 线性判别函数;3.2 线性判别函数;3.2 线性判别函数;3.2 线性判别函数;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数——多类情况;3.2 线性判别函数;三种方法小结;3.3 线性分类器设计;3.3 线性分类器设计;3.3 线性分类器设计;3.3 线性分类器设计;3.3 线性分类器设计;3.3 线性分类器设计——感知器法;感知器算法(Perceptron Approach) ;3.3 线性分类器设计——感知器法;3.3 线性分类器设计——感知器法;感知器算法 算法步骤： 增广的训练样本集 每个类别已知， （1）令步数k=1,增量 为正的常数， 的各分量为较小的任意值 （2）输入训练模式 ，计算判别函数值 （3）调整增广权矢量，规则： （a）如果 （b）如果 （c）如果 （4）如果kN，令k=k+1，GOTO （2） 如果k=N，则检验 对所有训练样本是否都正确分类，是则结束，否则，令k=1，GOTO（2） ;3.3 线性分类器设计——感知器法;3.3 线性分类器设计——感知器法;3.3 线性分类器设计——感知器法;3.3 线性分类器设计——感知器法;最小平方误差准则 (Minimum Squared-Error MSE); 如果训练模式是线性不可分?不等式组是不一致的，不等式组没解。此时，目标?最少的训练模式被错分。;式中 是 矩阵。;（二）最小方差准则及W-H算法 针对方程组 , 定义误差向量 e= 构造方差准则函数 对于 ,此时的 , 而对于 ,此时的 。如果方程组有唯一解,说 明训练模式集是线性可分的,??果方程组无解,极小点值是最小二乘解。一般情况下使 极小等价于误分模式数目最少。; ⑴ 伪逆法 求 对 的梯度并令其为零，有 可得 (3-6-12) 当(X ’X)-1存在时， X +=(X ’X)-1X ’称为X的伪逆(也称广义逆或M-P逆)， 称为 的伪逆解,也称为MSE解。 X ’X是(n+1)×(n+1)矩阵，一般是非奇异的。 当(X ’X)-1不存在时，可用广义逆法解 这里(X ’X)+为X ’X的广义逆矩阵。; 此算法的两个性质: 1.当 时,MSE解 等价于Fisher解。 2.令 ,在样本数 时,MSE解以最小均方误差逼近贝叶斯判决函数;53;54;55;56;57;58;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;类内离散度;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分类器设计——Fisher准则;3.3 线性分???器设计——Fisher准则;3.4 广义线性判别函数;