模式识别第二讲(线性判别函数法).ppt

* 从3.4节开始介绍第一步：利用训练样本求解权矢量，首先是用Fish判别的方法。 * 二维模式向一维空间投影示意图 o x y o x y * （1)求解Fish准则函数 * * 类间离差度为： * 并使其最大,上式称为Fisher准则函数。 * 利用二次型关于矢量求导的公式可得： （2) 求解Fisher最佳鉴别矢量 令 可得： * * 上式右边后两项因子的乘积为一标量，令其为 ，于是可得 式中 为一标量因子，其不改变轴的方向，可以取为1,于是有 * 此时的 可使Fisher准则函数取最大值，即是n 维空间到一维空间投影轴的最佳方向，由 和 JF 最大值为: ’ * 即 称 为Fisher变换函数 JF= * 由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点，所以可以根据训练模式确定一个阈值 yt，于是Fisher判别规则为: （3) 求解Fisher判别函数 判别阈值可取两个类心在u方向上轴的投影连线的中点作为阈值，即: * * （7） 计算 。 （8） 计算yt 。 （9） 对未知模式x判定模式类。 * 模式识别导论 * 例一 * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * * 模式识别导论 * 例二 * 模式识别导论 * * 模式识别导论 * * 以100元A面数据和50元A面数据为例 100元A面:(64,76,99,84,98,95,88,83),… 50元A面:(65,67,82,80,89,94,86,92),… N1=N2=60算得: m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4) m2=(59.2,55.5,81.9,63.9,95.1,91.0,91.1,86.5) * m1=(69.3, 61.9, 83.5, 70.8, 97.7, 91.5, 87.6, 82.4) m2=(59.2, 55.5, 81.9, 63.9, 95.1, 91.0, 91.1, 86.5) * m1=(69.3, 61.9, 83.5, 70.8, 97.7, 91.5, 87.6, 82.4) m2=(59.2, 55.5, 81.9, 63.9, 95.1, 91, 91.1, 86.5) * m1=(69.3, 61.9, 83.5, 70.8, 97.7, 91.5, 87.6, 82.4) m2=(59.2, 55.5, 81.9, 63.9, 95.1, 91, 91.1, 86.5) * m1=(69.3, 61.9, 83.5, 70.8, 97.7, 91.5, 87.6, 82.4) m2=(59.2, 55.5, 81.9, 63.9, 95.1, 91, 91.1, 86.5) * * * 利用给定的一个样本数据编写100元B面与50元A面的Fisher判别门限的程序，并用另一个样本数据验证之。 上机练习 1. 分类器的不等式方程 两类分类问题的解相当于求一组线性不等式的解。如果给 出分属于 ， 两个模式类的训练样本集 ， 应满足： 其中，Xi是规范化增广样本向量， 。 上式分开写为： 写成矩阵形式为 ： 令N× (n+1) 的长方矩阵为X，则 变为： 式中： 0为零向量 感知器算法是通过解不等式组 ，求出W。 2. LMSE算法 1) 原理 的求解。式中： ∴ 两式等价。 为各分量均为正值的矢量。 LMSE算法把对满足 XW 0 的求解，改为满足 ① 在方程组中当行数列数时，通常无解，称为矛盾方程组，一般求近似解。在模式识别中，通常训练样本数N总是大于模 式的维数n，因此方程的个数(行数)模式向量的维数(列数)， 是矛盾方程组，只能求近似解W*，即 说明： ② LMSE算法的出发点：选择一个准则函数，使得当J达到最小值时，XW=B 可得到近似解（最小二乘近似解）。 ③ LMSE算法的思路： 转化为 转化为 准则函数定义为： “最小二乘”： —— 最小：使方程组两边误差最小，