第四章线性判别函数LinearDiscriminantFunctions.PDFVIP

第四章 线性判别函数 Linear Discriminant Functions 4.1 引言 从基于概率密度（估计）的分类器设计 model-based method 到基于样本的直接分类器设计 思路： 首先选定判别函数类和一定的目标（准则），利用样本集确定出函数类 中的某些未知参数，使所选的准则最好。 形式化： { } 判别函数类 g (α),α ∈Λ ， α：未定参数 准则函数L (α) * * 求 ： α L (α ) min L (α) α 本章只考虑线性判别函数 g (x) wT x +w0 多类情况 g (x) wT x +w ，i 1, L,c i i i0 —— 次优分类器（相对于贝叶斯分类器） 当正态分布且各类协方差相同时为最优分类器。 4.1.1 一些基本概念 4.1.2 广义线性判别函数 Generalized Linear Discriminant 对非线性判别函数 ′ g (x) ，通过适当的变换转化为线性判别函数g (y ) 。 x   比如x 1 ，g (x) x T Ax +Bx +c 二次判别函数。   x 2   2 2 T [ ] 若定义y x ,x , x ,x ,x x 1 2 1 2 1 2 则总可以找到α,α ，使 0 ′ T g (y ) α y +α ≡g (x) 0 —— 广义线性判别函数 因任何非线性 函数都可以通过级 数展开转化为多项 式函数（逼近），所 以任何非线性判别 函数都可以转化为 广义线性判别函数。 问题：1. 实现这种转化的非线性变换可能非常复杂 2. 变换空间的维数可能非常高。——维数灾难 特例：线性判别函数的齐次简化 T T g (x) w x +w0 α y 1 w     0 y  ， α   x w     增广样本向量 增广权向量 4.2 Fisher 线性判别 Fisher Discriminant Analysis (FDA) 出发点：把所有样本都投影到一维，使在投影线上最易于分类。 寻找投影方向