第3章 线性判别(重庆大学revised).pptVIP

第3章 线性判别函数 引言 模式分类的途径 估计类条件概率密度 利用贝叶斯公式求出后验概率做出决策 概率密度参数估计非参数估计 直接估计后验概率 不需要先估计类条件概率密度 k-近邻分类器, 基于最近邻距离分类器后验概率估计 直接计算判别函数（重点内容） 不需要估计类条件概率密度和后验概率 直接找到分类器的判别函数 几何分类器与概率模式识别的关系 线性分类器 非线性分类器 线性判别函数 原理 利用判别函数将特征空间划分为若干个决策区域，然后根据待识别样本位于的决策区域来进行判类 是模式识别的重要方法之一 线性判别函数 判别函数的概念 判别函数即是直接用来进行模式分类的准则函数 例如在Bayes决策方法中，对c类模式有： 这里的 即可视为模式分类的准则函数判别函数 线性判别函数 在特征空间中，判别函数还具有特殊的几何意义和性质 线性判别函数 对图（a）所示的两类模式，可以用一条直线（界面）将其分开，设直线方程为： 则可令判别函数 则对 类模式有 对 类模式有 线性判别函数 可用判别函数进行模式分类，即当待识样本X到来时 若 ，则判X属于 类 若 ，则判X属于 类 线性判别函数 对图（b）所示的两类模式，用直线已不能将两类模式分开，分界线为二次曲线，判别函数为 此时分界面仍具有如下性质： 若 ，则判X属于 类 若 ，则判X属于 类 线性判别函数 判界面 由 所决定的界面称为判别面，对判别面上（决策面）任一点均有 判别面正面、反面 的区域称为判别面的正面， 的区域称为判别界的反面 线性判别函数 问题 判别函数的形式（线性、非线性）？根据先验知识决定 判别函数中的系数？由已知类别的学习样本确定 多类问题？化解为多个二类问题 线性分类器的设计 设线性判别函数形式为:g(x)=WTX 其中 X= (X1, X2…Xn) n维特征向量 W= (W1, W2 … Wn , Wn+1) n维权向量 通常通过特征抽取可以获得n维特征向量，因此n维权向量是要按某种准则（准则函数）求解的。 求解权向量的过程就是分类器的训练过程，使用已知类别的有限学习样本来获得分类器的权向量被称为有监督的分类。 设计线性分类器的主要步骤： (1)收集一组具有类别标识的样本 。若把每个样本看成确定的观测值，则这组样本称为确定性样本集；若把每个样本看成随机变量，则这组样本称为随机样本集。 (2)根据实际情况确定一个准则函数J。J必须满足：a) J是样本集X和 、 的函数；b) J的值反映分类器的性能，其极值解对应于“最好”的决策。 (3)用最优化技术求出准则函数的极值解 。 Ｆisher 线性准则函数 基本思想：在d维特征空间中，将所有样本投影到一条过原点的直线上，将维数压缩到１维 目标：找到一个最优的投影方向，使投影后的样本最易于分类 Fisher线性判别(Fisher Linear Discriminant ,FLD)，也叫线性判别式分析(Linear Discriminant Analysis, LDA)。 基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。 Fisher线性判决原理 Ｆisher 线性函数 设给定两类学习样本集　　　和　　　，共n个学习样本，其中　　类样本　个，　　类样本　个 现将任意学习样本　　与权向量　　作内积： 　则　　即是　　在　　方向上投影后的样本 Ｆisher 线性函数 类间离散度 两类样本投影前的均值： Ｆisher 线性函数 类间离散度 两类样本投影后的均值 ： Ｆisher 线性函数 类间离散度 类间离散度定义为： 　反映了两类样本投影后的距离（差异） Ｆisher 线性函数 类内离散度 定义类内离散度为投影后样本的方差，即 　 Ｆisher 线性函数 类内离散度 Ｆisher 线性