模式识别5-1主成分和K-L变换课程.pptVIP

主成分分析 主成分分析PCA Principle Component Analysis 通过K-L变换实现主成分分析 PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。 K－L 坐标系的产生矩阵 K-L变换 特征提取思想 用映射（或变换）的方法把原始特征变换为较少的新特征 降维 主成分分析(PCA)基本思想 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。 希望找到一种能量最为集中的的变换方法使损失最小 K-L变换 原始输入: x 变换后特征:y 变换矩阵(线性变换):A 则: y=ATx K-L变换 思考: 希望特征之间关联性尽可能小 变换后的相关矩阵: Ry≡E[yyT] =E[ATxxTA] =ATRxA 我们是不是希望Ry是个对角矩阵？ 如何选择A? K-L变换 考虑以Rx的特征向量作为A的列，则 Ry=ATRxA = [a1,a2……an] TRx [ a1,a2……an] = [ a1,a2……an] T [λ 1a1, λ2a2……λnan] =? ?为对角矩阵，对角线元素为λ 1, λ2……λn 达到变换后特征不相关的目的 以上为K-L变换 K-L变换 思考K-L变换性质: 如果降维，