模式识别（4-1）线性判别函数.ppt

模式识别 第四章线性判别函数（1） 回顾： §4.1 引言 利用样本集直接设计分类器的基本思想： 给定某个判别函数类，且假定判别函数的参数形式已知 用训练的方法来估计判别函数的参数值 分类决策 不需要有关的概率密度函数的确切的参数形式，属于非参数估计方法。 §4.1 引言 问题描述： 假设对一模式X已抽取n个特征，表示为： 根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类? §4.1 引言 例如下图：三类的分类问题，它们的边界线就是一个判别函数。 §4.1 引言 判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数 §4.1 引言 线性判别函数：x的各个分量的线性函数或以x为自变量的某些函数的线性函数。 对于c类问题： 优点： 最优？次优？ 计算简单；容易实现；需要的计算量和存储量小 §4.1 引言 寻找线性判别函数的问题被形式化为极小化准则函数的问题。以分类为目的的准则函数可以是样本风险，也可以是训练误差。 目标：能够正确地对新的样本进行分类 线性判别函数的基本概念 线性判别函数的基本概念 线性判别函数的几何意义 线性判别函数的几何意义 广义线性判别函数 广义线性判别函数 广义线性判别函数 广义线性判别函数 广义线性判别函数 广义线性判别函数 广义线性判别函数 广义线性判别函数 线性分类器的设计任务 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期对待测样本进行分类时，能满足相应的准则函数J为最优的要求。 权向量 阈值权 或 增广权向量 此技术的关键问题是确定所需的准则函数，然后用最优化技术确定准则函数的极值点 及 ，或增广权向量 。 线性分类器的设计步骤： 给定样本集X，确定线性判别函数 的各项系数w和w0。步骤： 收集一组具有类别标志的样本X={x1,x2,…,xN} 按需要确定一准则函数J，其值反映分类器的性能，其极值解对应于“最好”的决策。 用最优化技术求准则函数J的极值解w*和w0* ，从而确定判别函数，完成分类器设计。 换一个方式说： 设计线性分类器，是指所用的判别函数、分界面方程的类型已选定为线性类型，因此主要的设计任务是确定线性方程的两个参数，一个是权向量w，另一个是阈值w0。 为了使所设计的线性分类器在性能上要满足一定的要求，这种要求通过一种准则来体现，并且要表示成一种准则函数，以便能通过将准则函数值优化的方法确定w与w0 。 §4.2 Fisher线性判别 Fisher线性判别函数是研究线性判别函数中最有影响的方法之一。对线性判别函数的研究就是从R.A.Fisher在1936年发表的论文开始的。 §4.2 Fisher线性判别 §4.2 Fisher线性判别 Fisher准则的基本原理 一些基本参量的定义 一些基本参量的定义 §4.2 Fisher线性判别 §4.2 Fisher线性判别 §4.2 Fisher线性判别 最佳W值的确定 判别函数的确定 决策规则 根据Fisher选择投影方向w的原则：使原样本向量在该方向上的投影能兼顾： 类间分布尽可能分开， 类内样本投影尽可能密集。 这个函数称为Fisher准则函数。应该寻找使分子尽可能大，分母尽可能小的w作为投影向量。 用以评价投影方向w的函数为： 得出最终表达式： 对拉格朗日函数分别对w求偏导并置为0来求w的解。 最佳w值的确定实际上就是对Fisher准则函数求取其达极大值时的 。 对于这个问题可以采用拉格朗日乘子算法解决，保持分母为一非零常数c的条件下，求其分子项的极大值。 这是一个求矩阵 的特征值问题。 数值R 实际上我们关心的只是向量 的方向，其数值大小对分类器没有影响。因此在忽略了数值因子 后，可得： 上式就是使用Fisher准则求最佳法线向量的解。 向量 就是使Fisher准则函数 达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量 的各分量值是对原d维特征向量求加权和的权值。 最佳投影方向的理解 但是如从使类间分得较开，同时又使类内密集程度较高这