模式识别-4.pptVIP

第4章 线性判别函数4.3 最小平方误差准则 与Fisher线性判别的关系： 两类样本数分别为N1 ,N2 , N= N1 + N2 , 同类样本对应相同值，投影方向与Fisher判别器所得结果相同。 第4章 线性判别函数4.3 最小平方误差准则 解释：这时，最小平方误差相当于给定类间距的条件下，使类内距最小。 第4章 线性判别函数4.3 最小平方误差准则 解释：这时，最小平方误差相当于给定类间距的条件下，使类内距最小。 与Fisher准则等价！ 第4章 线性判别函数4.3 最小错分样本数准则 样本增广向量的规范化表示： 样本增广向量规范化： 要找增广权向量尽可能满足： 第4章 线性判别函数4.3 最小错分样本数准则 样本增广向量的规范化表示： 线性可分性： 一个n × n的实对称矩阵 M 是正定的当且仅当对于所有的非零实系数向量z，都有 zTMz 0。其中zT 表示z的转置。 第4章 线性判别函数4.2 Fisher 线性判别 Fisher准则函数： 第4章 线性判别函数4.2 Fisher 线性判别 Fisher准则函数： 第4章 线性判别函数4.2 Fisher 线性判别 称 类间离散度矩阵。 称 类内总离散度矩阵。 第4章 线性判别函数4.2 Fisher 线性判别 Fisher准则的合理性： JF(w)只与投影方向有关，与w大小无关—若w是一个最优解，kw 也是最优解，k是任何不为零的常数。 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 要求： 正定。 否则，存在投影方向w，使得 所有数据被投影到一点上 。 JF(w) 没有极大值。 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 求出最佳投影方向上任何一个即可。 JF(w) 有上界，最佳投影方向一定存在！ 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 一定存在一个最优的w，满足： 因为Sw 正定！ 无约束最优化： 等价于带约束的最优化： 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 带等式约束的最优化，用Lagrange乘子法： 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 根据类间离散度定义： 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 只关心投影的方向： 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 分类阈值b的确定 ： 两类均值的中点： 投影后数据的均值（n1,n2 是两类样本的个数） 第4章 线性判别函数4.2 Fisher 线性判别 Fisher最佳投影方向的求解： 对任意给定的样本x 计算它的投影点： 再根据决策规则 第4章 线性判别函数4.2 Fisher 线性判别 例1：设两类样本的类内离散矩阵分别为S1,S2,各类样本均值分别为m1=(2, 0)t, m2=(2, 2)t, 试用Fisher准则求其决策面方程。 答： 由于两类样本分布形状是相同的（只是方向不同），因此-w0应为（投影后）两类均值的中点 Fisher准则最佳投影 Fisher准则最佳分界面 第4章 线性判别函数4.2 Fisher 线性判别 例1：设两类样本的类内离散矩阵分别为S1,S2,各类样本均值分别为m1=(2, 0)t, m2=(2, 2)t, 试用Fisher准则求其决策面方程。 R1 R2 图中绿线为最佳分界面 第4章 线性判别函数4.2 Fisher 线性判别 线性不可分条件下：总体上求最佳。 最小平方误差准则 最小错分样本数准则 第4章 线性判别函数4.3 感知器准则 感知器准则是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器(Perceptron)，因此被称为感知准则函数。 其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 第4章 线性判别函数4.3 感知器准则 感知器：Perceptron，Rosenblatt，50d/20thc 线性可分性：训练样本集中的两类样本在特征空间可以用一个线性分界面正确无误地分开。在线性可分条件下，对合适的(广义)权向量a应有： 规范化样本向量 ：将第二类样本取其反向向量 第4章 线性判别函数4.3 感知器准则 第4章 线性判别函数4.3 感知器准则 对于任何一个增广权向量a ， 对样本y正确分类，则有：aTy0 对样本y错