线性判别函数_Fisher.pptVIP

线性判别函数;;线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 ，一般表达式为：;对于两类问题的决策规则为： 如果g(x)0，则判定x属于C1， 如果g(x)0，则判定x属于C2， 如果g(x)=0，可将x任意分到某一类，或拒绝。;方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。 当g(x)是线性函数时，这个平面被称为“超平面” (hyperplane)。;任意x，在H上投影 xp X与xp距离r;多类的情况：;更复杂一些，用C(C-1)/2个线性判别函数进行判别。;;广义线性判别函数;为解决上述分类问题，我们建立一个二次判别函数 g(x)=(x–a)(x–b) =c0+c1x + c2x*x 决策规则仍是：如果g(x)=0，则判定x属于R1，如果g(x)0，则判定x属于R2。 ;如图所示：;如图：映射y把一条直线映射为三维空间中的一条抛物线;令：;一般对于任意高次判别函数g(x)，都可以通过适当的线性变换化为广义线性函数来处理。 aTy不是x的线性函数但却是y的线性函数，它在Y空间确定了一个通过原点的超平面。 通过扩维，将高次问题划为线性问题来求解，但是维数增加，会导致维数灾难。;线性判别函数的齐次简化;一个三维增广特征空间y和增广权向量a（在原点）;这是广义线性判别函数的一个特例。y与x相比，虽然增加了一维，但保持了样本间的欧式距离不变。;设计线性分类器的主要步骤;Fisher线性判别;把同一组样本点向两个不同的方向作投影。（右图更易分开）;始于R.A.Fisher(1936年）;d维到一维的数学变换;基本参量;2.在一维Y空间;目的：投影后，在一维Y空间里各类样本尽可能做到：;准则函数;化简分母：;代入准则函数;对w求偏导并置零：;因为：;根据变换公式：;几种一维分类问题的基本原则