基于KL展开式的特征提取.pptxVIP

第7章基于K-L展开式的特征提取7.1K-L变换的定义与性质7.2K-L变换特征提取的原理及应用7.3利用K-L变换进行人脸识别

考虑利用线性变换的方式实现降维本质上说是高维→低维的投影形式上可看是原始向量各分量的线性组合由上章内容，此处关键是选择合适的变换，使变换之后的数据保持足够的类别可分性实现特征提取的途径

两类经典的处理方法多重判别分析：考虑模式类可分离性成分分析：用较少数量的特征对样本进行描述，减少或去除冗余信息（去相关、信息压缩）所谓成分分析，即有可能将认为是不重要的成分去除或用较少数据粗略表示，从而减少数据量，实现特征降维12实现特征提取的途径

DKLT的性质：使变换后产生的新的分量不相关以部分新分量表示原向量均方误差最小使变换向量更趋确定、能量更趋集中离散K-L变换（DKLT），又称霍特林(Hotelling)变换或主分量分解，它是一种基于目标统计特性的最佳正交变换7.1K-L变换的定义与性质

设n维随机向量rLxxxxn=(,,,)12T，其均值向量[]rrxEx=，相关矩阵[]RExxxrrr=T，协方差矩阵[]CExxxxxrrrrr=--()()T，rx经正交变换后产生向量rLyyyyn=(,,,)12T

设有标准正交变换矩阵T，（即TT=I）取前m项为的估计值（称为的K-L展开式）其均方误差为

xtyiirr=在T‘T=I的约束条件下,要使均方误差为此设定准则函数由可得即

?i是的特征值，而是相应的特征向量。由表明:利用上式有:用“截断”方式产生x的估计时，使均方误差最小的正交变换矩阵是其相关矩阵Rx的前m个特征值对应的特征向量构成的。

变换后各特征分量不相关的自相关矩阵和协方差矩阵为变换后的向量的各分量不相关的?i=E(yi2)，或?i=E{[yi-E(yi)]2}(含义：方差)DKLT的性质

通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。02DKLT使新的分量y1和y2不相关两个新的坐标轴方向分别由和确定01

最佳逼近性使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）采用同等维数进行表示，该结果与原始数据的均方误差最小DKLT的性质

主轴特征值大方差大主成分表示与类可分性OQ何谓主轴及主成分表示

例:已知两类样本（2）解：（1）试用K-L变换做一维特征提取。（3）求R的特征值、特征向量

（4）选?1对应的作为变换矩阵logo得由得变换后的一维模式特征为

两组二维空间的数据（a）（b）如图所示，试用K-L变换来做一维的特征提取。010203

01解：这两种情况下的期望向量02对于数据（a），有

1对于数据（a）:对于数据（b）:32计算协方差矩阵的特征值和特征向量：对于数据（b），有

课堂练习已知一组数据的协方差矩阵为试问：协方差矩阵中各元素的含义。求该组数据的两个主分量。K-L变换为什么又被称作最佳变换？为什么说经主分量分析后，消除了各分量之间的相关性。

答：(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。(2)主分量，求协方差矩阵的特征值，对应的特征向量为,对应特征向量为，这两个特征向量即为主分量。(3)对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算K-L变换对应的截尾误差最小。(4)经K-L变换，协方差矩阵成为对角阵，因而各分量间协方差变为0，消除了的相关性。