KL变换分析和总结.docx

主分量分析（PCA）、K-L 变换（Hotelling 变换） 一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性 (cross-correlation)降低到最低点。 设 x : j ? 1,..., s 是 N 维向量的数据集合，m 是其均值向量： j m ? 1 ?s x s j j ?1 差别向量d 是： j d ? x ? m j j 协方差矩阵是： C ? 1 ?s d d T x s j j j ?1 求出其从大到小排列的特征值? 及满足下列条件的特征向量u k k uT u l k ? ? l ,k ? ?1 , l ? k ??0 , l ? k ? 有了特征向量集合，任何数据 x 可以投影到特征空间（以特征向量为基向量） 中的表示： 相反地，任何数据 x 可以表示成如下的线性组合形式： 如果用 A 代表以特征向量为列向量构成的矩阵，则 AT定义了一个线性变换： 上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给 y 降维。例如，丢弃底下 N-M 行得到M ? N 的矩阵 B， y ? AT (x ? m) x ? m ? Ay ( A是正交矩阵） 变换后的协方差矩阵为： ???? 0 ? ? ? 1 C ? AT Cs A ? ? ? ? x y? m ? ? x y u ? ? ? y ? u T (x ? mk )k? 0, y ? ( y , ?y ,..., y )T k k k ?1 1N 2 N 并为简单起见假定均值 m=0，则有： 它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。 上述方法是图象数据压缩的数学基础之一，通常被称为 Principal Component Analysis (PCA) 或 Karhunen-Loeve (K-L)变换。 y? ? Bx 而x仍可通过 x? ? BT y? 来近似。近似的均方差为： MSE ? ?N ? k k ?M ?1 K-L 变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。 一种常采用的方法是根据如下的推导： 由于通常 sN，这种方法将求高阶矩阵的特征向量转化为求较低阶矩阵的特征向量的过程在图象数据分析中是很实用的。 K-L 变换是图象分析与模式识别中的重要工具，用于特征抽取，降低特征数据的维数。例如，MIT-Media Lab 基于特征脸的人脸识别方法。 /vismod/demos/facerec/ C ? AAT (N ? N 维) 其中A ? (d x 1 ,..., d ) s 考虑AT A (s ? s维)的特征向量v i AT Av ? ? v i i i 上式两边左乘A得到 AAT Av ? ? Av i i i 可见Av 就是C i x ? AAT的特征向量。 奇异值分解（SVD） 奇异值分解（Singular Value Decomposition）是矩阵分析中正规矩阵酉对 角化的推广。设矩阵A 是m ? n 的秩为 r，它的奇异值是指n 阶方阵 AHA（或 m 阶 方阵 AAH）的正特征值的平方根 (AH 是 A 的共轭转置)。奇异值分解是指如下形式的分解： ?? 0? ?? 0 ? ?i? 1 ? i 0 0A ? U ? ?V 0 0 ? ? 其中U和V是酉矩阵，? ? ? ? 0? 0 ? ? ? ? ??? i ? ? r 对于图象数据而言，任意一个 N ? N 的矩阵 A 定义的奇异值变换为： A ? U?V T 其反变换? ? U T AV 其中U和V的列分别是AAT 和AT A特征向量，?为N ? N的对角阵，沿其对角线包含A的奇异值。如果A是对称的，则U ? V . DCT 与 K-L 变换的关系 马尔可夫（Markov）过程 一个静态随机序列称为一阶Markov 序列，如果序列中每个元素的条件概率只依赖于它的前一个元素。一个 N ?1的 Markov 序列的协方差矩阵具有以下形式： ? 1 ?? ? ? C ? ? ? 2 ? ? 2 1 ? ? 1 ? ? N ?1 ? ?? ? N ?2 ? ? ? ? N ?3 ?,  0 ? ? ? 1 ?x ? ? ? ? ? ? ? ? ? ??? N ?1 ? N ?2 ? N ?3 ? 1 ?? 其中，相邻两元素之间的相关系数： ?c ? x ij  ? ? i? j , i, j ? 0,1,? , N ? 1 这个协方差矩阵的特征值和