线性判别剖析LDA.pptVIP

线性判别分析（LDA） 基本思想 线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，即把高维空间中的数据点投影到一条直线上去，将多维降为一维。并且要求投影后各样本的类间散布距离最大，同时类内散布距离最小。 LDA 二分类问题公式推导 假设A和B为分类明确的两类症状。在总体A中观察了P例，在总体B中观察了q例，每一例记录了n个指标，分别记为x1,x2,…,xn。令y是n个指标的一个线性函数，即  y=w1x1+w2x2+…+wnxn y=wTx 其中w1，w2，…，wn 是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。 假设用来区分二分类的直线（投影函数)为： 类别i的样本均值: 类别i投影后的均值为： 投影后，类别内点之间的分散程度（方差）为： 最终我们可以得到一个下面的公式，称为准侧函数。 为了找到最有利于分类的的方向W，还需要建立一个准侧函数： LDA 我们分类的目标是找到一个最优化的W，使得类别内的点距离越近越好（集中），类别间的点越远越好。 分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化J(w)就可以求出最优的w 定义： （1