PCA算法原理及其示例.docVIP

PCA算法的原理主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题对于某些复杂数据就可应用主成分分析法对其进行简化。计算主成分的目的是将数据投影到较低维空间。主成分分析 PCA算法的基本概念 PCA是Principal component analysis的缩写,中文翻译为主成分分析。主成分又称主分量、主元素。它是研究如何通过原来变量的少数几个线性组合来解释随机向量的方差协方差结构是数据压缩和特征提取中一种多维向量的统计分析应当注意主成分分析本身往往并不是目的而是达到目的的一种手段因此它多用在大型研究项目的某个中间环节。如把它用在多重回归便产生了主成分回归这种回归具有优良性质另外它在压缩、特征提取及分类应用中非常有用。第一步：假设训练集有200个样本，由灰度图组成，每个样本大小为M*N，写出训练样本矩阵： 其中向量xi为由第i个图像的每一列向量堆叠成一列的MN维列向量,即把矩阵向量化,如下图所示： 如：第i个图像矩阵为 则xi为 第二步：计算平均脸[4] 计算训练图片的平均脸： 第三步：计算差值脸 计算每一张人脸与平均脸的差值: 第四步：构建协方差矩阵 第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间 协方差矩阵的维数为MN*MN，考虑其维数较大，计算量比较大，所以采用奇异值分解(SingularValue Decomposition ,SVD)定理[5]，通过求解AT A的特征值和特征向量来获得AAT的特征值和特征向量。 求出AT A的特征值 及其正交归一化特征向量 根据特征值的贡献率选取前p个最大特征向量及其对应的特征向量 贡献率是指选取的特征值的和与占所有特征值的和比，即： 一般取 即使训练样本在前p个特征向量集上的投影有99%的能量 求出原协方差矩阵的特征向量 则“特征脸”空间为： 第六步 将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间，即 第一步：将待识别的人脸图像 与平均脸的差值脸投影到特征空间，得到其特征向量表示： 第二步：定义阈值 第三步：采用欧式距离来计算 与每个人脸的距离 为了区分人脸和非人脸，还需要计算原始图像 与由特征脸空间重建的图像 之间的距离 其中： 根据以下规则对人脸进行分类： 1)若 ，则输入图像不是人脸图像； 2)若 ，且 ， 则输入图像包含未知人脸； 3)若 ，且 ， 则输入图像为库中第k个人的人脸。 五、结束语 PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。 在前文的例子中,经过PCA处理后的数据只剩下了一维,也就是弹簧运动的那一维,从而去除了冗余的变量,揭示了实验数据背后的物理原理。 PCA技术的一个很大的优点是,它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预,最后的结果只与数据相关,与用户是独立的。但是,这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高。 参考文献： [1] Jose C.A Fast On-line Algorithm for PCA and Its Convergence Characteristics[J].IEEE,Transactions on Neural Network, 2000, 4(2):299-307 [2] 唐懿芳钟达夫主成分分析方法对数据进行预处理广西师范大学学报何国辉甘俊英(2006)“PCA类内平均脸法在人脸识别中的应用研究”?计算机应用研究?2006年第三期 [5] 徐 仲,等.矩阵论简明教程（第四版）[M].北京:科学出版社，2005.