K-L变换..doc

K-L变换（Karhunen-Loéve） 离散K-L展开式的矩阵表示 设非周期随机过程，在采样区间[a, b]作均匀采样，采样样本表示为向量 （理解为每个样本向量有D个特征） 其相关函数为D维方阵，有D个线性无关的特征向量。 【假如有N个采样样本，， 相关函数＝】 则采样序列x的展开式仅含有D项，式中，为第j个正交基函数（也叫基向量），为对应的展开式系数。 【对于“K-L展开式满足正交变换，且是最小均方误差的”证明如下：】 假设向量集合中的x可以用完备正交归一向量系或者称为变换基向量 来展开，则有 基向量满足正交性 在离散情况下使用有限基向量集合来表示，即 其均方误差为 将展开式系数（理解为x在基坐标上的投影，而展开式系数就是坐标值）代入均方误差表达式，有 （理解上式中，因为是行向量和列向量） 为自相关矩阵（这是一个对称矩阵，因为） 由拉格朗日条件极值法求均方误差的极限，相应的拉格朗日函数为 令（理解j从的d＋1取到无穷，总共就有这么多方程） 则 得， 【 这是矩阵的导数问题！相关概念知识如下： 令A是一个与列向量x无关的矩阵，则 ， 特别地，若A为对称矩阵，则有 证明： 前半部分： 假设 后半部分： — 一个多项式 梯度（是一个列向量）的第k个分量为 】 其解就是使均方误差为极小的基向量，同时求得的为矩阵的特征向量，其对应的特征值为，则截断均方误差为（此处用矩阵对角化的概念理解），式中为矩阵的特征值。 K-L变换坐标系的特点 1、使用K-L变换坐标系与使用其他正交变换坐标系相比，只有K-L展开式对于x的展开是均方误差最小的。 2、如果能够取矩阵的d个最大特征值,所对应的特征向量来构成K-L变换坐标系，在均方误差最小的意义下，便可以实现D维空间到d维空间的压缩映射。 3、矩阵是依赖于样本空间中的样本的，所以K-L变换可以实现基于样本空间的压缩变换，K-L展开式可以有效地展示样本空间中的信息量属性。 K-L变换的精髓理解 K-L坐标系的生成是依据样本空间中的原始数据的，因此可以准确地刻画样本空间中的特征用于分类。这不同于其他固定基向量的线性变换。 K-L变换矩阵的生成（用于生成K-L坐标系） 【方法1样本类别未知条件下】使用自相关矩阵 【方法2样本类别未知条件下】使用样本的协方差矩阵 注意：如果样本所属类别未知，在没有类别标签时，均值向量是无意义的。 【方法3样本类别已知条件下】使用总类内离散度矩阵 式中为协方差矩阵。 使用条件： 样本集合有类别标签。 各类的先验概率已知为。 可计算的类均值向量。 协方差矩阵为。 【方法4样本类别已知条件下】如果只考虑同类样本的信息表征，可以单独使用一个类别样本集合的来建立各自的K-L坐标系。 K-L变换应用于人脸图像的识别 使用是基于人脸结构的相似性以及人脸特征的非颗粒性 以人脸灰度图像为例，具体实现步骤如下： 获得数据图像，比如取N=128。 将数据作标准化处理。应用图像处理技术有旋转、比例、缩放、分割、裁剪、灰度、光照等。处理后的图像为标准图像。 构建图像数据库。使用标准化处理后的图像数据库建立相应规模的样本数据库。将N×N维图像数据的各列顺序相接构成维向量数据，为第i个图像数据向量。 4、K-L变换。以样本集合的总体离散度矩阵（理解为协方差矩阵，表达各分量间的相关程度）作K-L变换，产生矩阵 式中，M为训练样本数目，为训练样本集合的平均图像向量。 （理解为将M个样本向量并列组合）是维的矩阵。是维的矩阵（理解为不同像素点间的相关度）。对于如此高维数的矩阵直接计算的特征值和正交归一特征向量其计算量非常大，因此可以使用矩阵理论中的奇异值分解算法将矩阵作奇异值空间与非奇异值空间分离，降低定义空间的维数。 5、根据奇异值分解算法结果，构造矩阵是M×M维的，特征空间的维数大大降低，很容易计算出矩阵R的特征值与正交归一化特征向量，。因为的正交单位特征向量组成V，（理解即为）的正交单位特征向量组成U。所以相应原矩阵的正交归一特征向量为。 【证明：因为，， ， ， 所以，即】 6、构造“特征脸”。将特征值排序，其对应的特征向量构成的子空间为。该子空间中的特征向量重构的图像（将特征向量还原为图像大小的矩阵）极似人脸，又是基于提取的特征构造的，因此又称为“特征脸”。 矩阵的正交对角分解 1、若A是n阶实对称矩阵，则存在正交矩阵Q，使得，其中为矩阵A的特征值，而Q的n个列向量组成A的一个完备的标准正交特征向量系。 2、对于实的非对称矩阵A，不再有像上式中的分解。但却存在两个正交矩阵P和Q，使为对角矩阵，即有下面的正交对角定理。 奇异值的定义 几个重要结论： 设（理解为A为m×n矩阵，A的秩为r，C表示复空间），则是Hermite矩阵