模式识别 课件 第4章 线性判别分析.pptx

第4章线性判别分析

主要内容4.1基本概念4.2Fisher线性判别分析4.3感知器算法4.4最小二乘法4.5支持向量机4.6多类问题

4.1基本概念（1）贝叶斯决策的局限性前提：对先验概率和类概率密度函数有充分的先验知识；或有足够多的样本，可以较好地进行概率密度估计。局限：若前提条件不满足，采用最优方法设计出的分类器往往不具有最优的性质估计：实际问题中，得到的只是样本集，样本的分布形式很难确定，进行估计需要大量样本；当样本数有限时，概率密度函数估计问题往往是一个比分类更难的一般性问题实际问题中，不去估计类条件概率，直接利用样本集设计分类器。

首先给定某个判别函数，利用样本集去确定判别函数中的未知参数。判别函数分类线性判别函数非线性判别函数（2）利用样本集直接设计分类器的思路4.1基本概念

（3）线性判别函数实例分析一维数据ω2w0ω1两类的分界点为w0，判别函数表示为：g(x)=w1x-w0二维数据两类的判别函数表示为：w、x均为二维列向量4.1基本概念

w、x均为n维列向量，w称为权向量（系数）一般表达式决策规则决策面方程???4.1基本概念?

几何解释w和超平面H上任一向量正交，即w是H的法向量???4.1基本概念

把一些高次判别函数作适当变换，变换成一次的线性判别函数，称为广义线性判别函数。ba如图所示，一维样本空间x，如果xb或xa，则x∈ω1，如果bxa，则x∈ω2。采用线性判别函数无法分类但二次判别函数适用（4）广义线性判别函数4.1基本概念

二次判别函数一般表达式：选择x→z的映射，变换二次函数为z的线性函数意义：经过以上变换，可以用简单的线性判别函数来解决复杂问题，但增加了维数。?4.1基本概念

（5）广义齐次线性判别函数?经过变换，维数增加一维，但分界面变成了通过原点的超平面，给解决问题带来了方便。4.1基本概念?

（6）例题线性和非线性判别分析例4-1：设5维空间的线性方程为试求出其权向量与样本向量点积的表达式。4.1基本概念

例4-2：设在三维空间中的一个类别分类问题，拟采用二次曲面，如果要采用线性方程求解，试问其广义样本向量与广义权向量的表达式。4.1基本概念

（7）线性判别函数的设计核心思想根据样本集去确定权向量w和w0，或a寻找合适的准则函数如何对准则函数求最优确定的方法首先要有一个准则函数，根据这个准则函数去找出满足要求的尽可能好的结果分类器的设计转化为求准则函数的极值两个关键问题4.1基本概念

生成样本集：一般通过抽样生成，个别情况下要转化成增广样本集。确定准则函数极值对应最好的决策是w、w0或a等参数的函数求最优值w*、w0*或a*设计步骤4.1基本概念

4.2Fisher线性判别（1）原理降维把多维空间的样本变换到低维，简化问题。这在模式识别中是一个关键问题。降维的方法把n维样本投影到一条直线上，变换成一维样本投影线不能任意选择

选择另一个方向的投影线，投影后两类样本相互分开，很容易分类。Fisher法就是要找到这条最易分类的投影线。对于n维样本，总是可以找到某一个方向，样本投影在这个方向的直线上，分开的最好。如图所示：蓝色的星为一类数据，红色的圆为一类数据，选择紫色的直线为投影线，投影后两类的数据混在一起，很难分开。

（2）数学表示?4.2Fisher线性判别

（3）基本参量4.2Fisher线性判别线性和非线性判别分析样本类内离散度矩阵：总类内离散度矩阵：样本类间离散度矩阵：各类样本均值向量：样本类内离散度总类内离散度：各类样本均值：降维前降维后

（4）准则函数及求解??确定函数式定义准则函数4.2Fisher线性判别

?4.2Fisher线性判别

求极值点w*（用Lagrange乘数法）?4.2Fisher线性判别线性和非线性判别分析这是一个特征方程，求矩阵的特征值w*就是使Fisher准则函数取极大值时的解，也是使两类样本投影后分开得最好的投影方向。

（5）利用Fisher法分类数据转化为一维，只需设定一个阈值点，即可分类4.2Fisher线性判别阈值点的设定

?（6）例题?4.2Fisher线性判别

4.2Fisher线性判别?

4.2Fisher线性判别线性和非线性判别分析?实际中，一般有部分已知类别的样本，去求最好的投影方向W*，然后再对未知类别的样本进行投影并分类。3）分类阈值：?

4.2Fisher线性判别?（7）仿真实现按照Fisher线性判别原理，获取训练数据，计算两类的均值、类内离散度矩阵，确定投影方向，计算一维阈值点并对数据归类。设计思路

4.2Fisher线性判别程序clc,clear,closeall;X=[-5-5;-5-4;-4-5;-5-6