----线性判别函数.pptVIP

模式识别理论及应用Pattern Recognition - Methods and Application 第四章 线性判别函数 内容目录 4.1 引言 基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数 直接确定判别函数 基于样本的直接确定判别函数方法： 针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。 这些准则的“最优”并不一定与错误率最小相一致：次优分类器。 实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w? 线性判别函数 d维空间中的线性判别函数的一般形式： 线性判别函数的几何意义 决策面(decision boundary)H方程：g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量 广义线性判别函数 线性判别函数是形式最为简单的判别函数，但是它不能用于复杂情况。 例：设计一个一维分类器，使其功能为： 广义线性判别函数(2) 按照上述原理，任何非线性函数g(x)用级数展开成高次多项式后，都可转化成线性判别函数来处理。 一种特殊映射方法：增广样本向量y与增广权向量a 线性分类器设计步骤 线性分类器设计任务：给定样本集K，确定线性判别函数g(x)=wTx的各项系数w。步骤： 收集一组样本K={x1,x2,…,xN} 按需要确定一准则函数J(K,w)，其值反映分类器的性能，其极值解对应于“最好”决策。 用最优化技术求准则函数J的极值解w*，从而确定判别函数，完成分类器设计。 4.2 Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投影 Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 Fisher线性判别图例 d维空间样本分布的描述量 各类样本均值向量mi 一维Y空间样本分布的描述量 各类样本均值 样本与其投影统计量间的关系 样本x与其投影y的统计量之间的关系： 样本与其投影统计量间的关系 Fisher准则函数 评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求 Fisher准则函数的定义： Fisher最佳投影方向的求解 采用拉格朗日乘子算法解决 判别函数的确定 前面讨论了使Fisher准则函数极大的d维向量w*的计算方法，判别函数中的另一项w0（阈值）可采用以下几种方法确定： Fisher公式的推导 4.3 感知器准则 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 基本概念 感知器：Perceptron，Rosenblatt，50d/20thc 线性可分性：训练样本集中的两类样本在特征空间可以用一个线性分界面正确无误地分开。在线性可分条件下，对合适的(广义)权向量a应有： 解向量与解区 感知器准则函数 对于任何一个增广权向量a ， 对样本y正确分类，则有：aTy0 对样本y错误分类，则有：aTy0 定义一准则函数JP(a) (感知准则函数)： 梯度下降算法 梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。 算法(step by step) 感知器方法例解 固定增量法与可变增量法 批量样本修正法与单样本修正法 单样本修正法：样本集视为不断重复出现的序列，逐个样本检查，修正权向量 批量样本修正法：样本成批或全部检查后，修正权向量 感知器方法小结 感知准则函数方法的思路是：先随意找一个初始向量a(1)，然后用训练样本集中的每个样本来计算。若发现一个y出现aTy0，则只要a(k+1) = a(k) + rky，rk为正(步长系数)，则必有a(k+1)Ty = a(k)Ty + rkyTy，就有趋势做到使a(k+1)Ty 0。当然，修改后的a(k+1)还可以使某些y出现a(k+1)Ty 0的情况，理论证明，只要训练样本集线性可分，无论a(1)的初值是什么，经过有限次叠代，都可收敛。 4.4 最小平方误差准则 规范化增广样本向量yi，增广权向量a，正确分类要求： aTyi0, i=1,…,N 线性分类器设计?求一组N个线性不等式的解 样本集增广矩阵Y及一组N个线性不等式的的矩阵表示： 平方误差准则函数 定义误差向量 e=Ya-b： 定义平方误差准则函数Js(a): MSE准