线性判别分析lda.pdfVIP

LDA 算法入门 一．LDA 算法概述： 线性 判 别 式 分 析 (Linear Discriminant Analysis, LDA)， 也 叫 做 Fisher 线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典 算法，它是在 1996 年由 Belhumeur 引入模式识别和人工智能领域的。 线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量 空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证 模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式 在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。 使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时 类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间 中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的 可分离性。 二. LDA 假设以及符号说明： n 假设对于一个R 空间有 m 个样本分别为x ,x ,x ，即每个x 是 1 2 m n i 一个n 行的矩阵，其中 i 表示属第 类的样本个数，假设一共有c 个类， 则n  n  n   n  m 。 1 2 i c S ：类间离散度矩阵 b S ：类内离散度矩阵 w ni ：属于i 类的样本个数 xi ：第i 个样本 u ：所有样本的均值 u ：类i 的样本均值 i 三． 公式推导，算法形式化描述 根据符号说明可得类i 的样本均值为： 1 u  x (1.2) i  ni x classi 同理我 也可以得到总体样本均值： 1 m u  xi (1.3) m i1 根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子： c T S  n u  u  u  u  (1.4) b i i i i1 c T S    u  x  u  x 