KL变换培训讲义.pptVIP

采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构 利用K-L变换进行特征提取的优点： 1）变换在均方误差最小的意义下使新样本集{X *}逼近原样本集{X}的分布，既压缩了维数又保留了类别鉴别信息 2）变换后的新模式向量各分量相对总体均值的方差等于原样本集总体自相关矩阵的大特征值，表明变换突出了模式类之间的差异性。 3）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消除了原来特征之间的相关性，便于进一步进行特征的选择 K-L变换的不足之处 1）对两类问题容易得到较满意的结果。类别愈多，效果愈差。 2）需要通过足够多的样本估计样本集的协方差矩阵或其它类型的散布矩阵。当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。 3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算 带来困难。 * * 基于K-L变换的多类模式特征提取 对一类模式：维数压缩。 对多类模式：维数压缩，突出类别的可分性。 特征提取的目的： 卡洛南-洛伊（Karhunen-Loeve）变换（K-L变换）： * 一种常用的特征提取方法； * 最小均方误差意义下的最优正交变换； * 适用于任意的概率密度函数； * 在消除模式特征之间的相关性、突出差异性方面 有最优的效果。 离散K-L变换 连续K-L变换 分为： 特征提取与K-L变换 特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征 PCA (Principle Component Analysis)方法：进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小。 K-L (Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法 K-L变换 离散K-L变换：对向量x用确定的完备正交归一向量系uj展开 特征提取 离散K-L变换的均方误差 用有限项估计x ： 该估计的均方误差： 特征提取 求解最小均方误差正交基 用Lagrange乘子法： 结论：以相关矩阵R的d个本征向量为基向量来展开x时，其均方误差为： K-L变换：当取矩阵R的d个最大本征值对应的本征向量来展开x时，其截断均方误差最小。这d个本征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系， x在K-L坐标系上的展开系数向量y称作x的K-L变换 特征提取 K-L变换的表示 K-L变换的向量展开表示： K-L变换的矩阵表示： 特征提取 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U t ： —— K-L变换 系数向量a就是变换后的模式向量。 K-L变换的性质 y的相关矩阵是对角矩阵： 特征提取 K-L变换的性质 K-L坐标系把矩阵R对角化，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的 特征提取 K-L变换图解 x1 x2 u2 u1 二次曲线方程 标准二次曲线方程 特征提取 K-L变换的数据压缩图解 取2x1变换矩阵U=[u1]，则x的K-L变换y为： y = UTx = u1T x = y1 变换的能量损失为 特征提取 K-L变换的产生矩阵 数据集KN={xi}的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为某种基于数据x的二阶统计量的产生矩阵的本征向量 K-L变换的产生矩阵可以有多种选择： x的相关函数矩阵R=E[xxT] x的协方差矩阵C=E[(x-μ) (x-μ)T] 样本总类内离散度矩阵： 特征提取 未知类别样本的K-L变换 用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C的本征值的下降次序选择 例：设一样本集的协方差矩阵是：求最优2x1特征提取器U解答：计算特征值及特征向量[V, D]=eig(C);特征值D=[24.736, 2.263]T,特征向量:由于λ1λ2，故最优2x1特征提取器此时的K-L变换式为： 特征提取 特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类。 从D个特征中选取d个,共CdD种组合。若不限定特征选择个数，则共2D种组合－ 典型的组合优化问题 特征选择的方法： 是否直接考虑分类器性能 Filter方法：根据独立于分类器的指标J来评价所选择