模式识别课件(第4章 NO1)(线性判别函数).pptVIP

* * * * * * * * * * * * 四 Fisher线性判别 　构造Fisher判别函数 　　　　　　　　　　　　　　（y为一维，X为d维） (注意：“判别函数”指的是任一X的函数)　 希望投影后，在一维Y空间里，各类样本尽可能分得开些，即希望类间离散度　越大越好；而希望各类样本内部尽量密集，即希望类内离散度　越小越好。 据此定义Fisher准则函数 　　　 式中JF(w)为标量(因为 , , 均是标量)　 　　　现在的问题就是选择合适的W(方向)使 尽可能的达到极大。 　将 变成W的显函数，即将　，　，　　　的式子代入　 式得:　　 　 这是广义Rayleigh商/比，其有如下性质： ① = (α是一个实数) ② 的极值与W的大小无关，只与W的方向有关； 利用Lagrange乘子法求使 取极大值时的W*。 由上性质②，可令分母为非零常数， 　即　　　　 构造Lagrange函数为： λ为Lagrange乘子，极大值的条件为： 其中W*就是　　　的极值解。　 因为　 非奇异，所以上式两边左乘　　后得： 　　　上式表明， W*是矩阵Sw-1 Sb相应于特征值λ的特征向量(对于两类问题，Sb的秩为１，所以Sw-1 Sb只有一个非零特征值，其所对应的特征向量W*称为Fisher最佳鉴别向量)。 　 　　由于目的是寻找最佳的投影方向，因此可略去比例因子 故得： 　W*就是使Fisher准则函数JF(W)取极大值时的解，也就是d维X空间到一维y空间的最佳投影方向。或述W*就是使样本的投影在类间最分散，类内最集中的最优解，有了W*后，得： y = W*TX (y∈Yi, x∈Xi) 即可将各样本由d维空间投影到一维空间，即直线W*上，变成一维样本。 五 Fisher判别函数 　 由于变换后的样本是一维的，所以判别界面实际上是各类样本所在投影轴上的一个点，可以根据训练样本确定一个阀值 　，从而Fisher判别规则为： 　　当 　　　　时， 　　当 　　　　时，　　　 　判别阈值可取两个类心在w方向上轴的投影连线的中点作为阈值。即 　容易推得： 也可考虑类的先验概率情况下，这时 * * * * * * * * * * * * * * * * * * * * * * * * * 第4章　线性判别函数 4.1　引言 (1) 问题： 第3章所述的分类器设计方法是在已知类条件概率密度p(X|Wi)和先验概率p(Wi)，再利用Bayes公式将其转化成后验概率。然后依据不同规则进行分类－－相对最优。 但实际中，p(X|Wi)很难确定，而Parzen窗等估计方法又需大量样本，且随着特征空间Ω维数的增加所需样本数急增，导致计算量增加，存储量增加。 (2) 应对与局限性： 因此，提出了利用样本集直接设计分类器。 这种方法是：若能找到一个分离函数，特别若是不依赖于条件分布密度的，且呈线性或非线性的分离函数。它可理解为通过几何的方法，将Ω分解为对应于不同类别的子空间。 这种方法所能处理的只是确定可分(线性/非线性可分)的问题，当样本集聚的空间发生重叠现象时，寻找分离函数的迭代过程将加长，甚至振荡。这就是这种方法的局限性。另外，相对Bayes方法该方法得到的是“次优解”。 (3) 这种方法的基本思想是： 　如果根据以往大量的观察： ① 知道模式类别的分布； ② 能找出d维空间(Ω)中模式类之间的分界。 这就能解决模式的分类问题。 这实际上是运用已知类别的训练样本进行学习的过程。通过学习产生若干个代数界面g(X)=0，这个表示界面的函数g(X)称为判别函数。 (4) 这种方法的处理思路是： 分类 　特征空间的分划　 寻求子区域的界面 判别函数g(X) 　判别函数g(X)的结构与参数的确定 待识别样本特征向量带入判别函数后取值与归类。 注意：这种方法要求以后的待分类样本/模式基本上不超过学习样本的分布范围，也就是说利用这些已知样本得出的分类边界是无误差的。 为了找出这些模式类之间的分界面，可以利用判别函数来进行。 (5) 处理方法是： 先给定(某个)判别函数类g(X)=0，再利用样本集确定出g(X)中的未知参数，然后对于样本根据其特征值带入g(X)后