【转】PCA降维算法总结以及matlab实现PCA(个人的一点理解).doc

【转】PCA降维算法总结以及matlab实现PCA(个人的一点理解) 【转】PCA降维算法总结以及matlab实现PCA(个人的一点理解) PAGE 【转】PCA降维算法总结以及matlab实现PCA(个人的一点理解) 【转】PCA降维算法总结以及matlab实现PCA(个人的一点理解) 转载请声明出处。by watkins songPCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。本来最早的时候我没有打算对提取的gabor特征进行降维，但是如果一个图像时64*64,那么使用五个尺度八个方向的gabor滤波器进行滤波，这样提取的特征足足有64*64*5*8这么多，如果图像稍微大一点，比如128*128的图像，那么直接提取的特征就会几十万，所以不降维的话直接用SVM训练分类器是非常困难的。所以在这段时间我就学习了一下PCA降维的基本原理和使用方法，网上给出的资料都比较乱，而且很不清楚，经过这几天的学习和测试，终于把调理弄清楚了，给大家分享一下，下面只是我对于PCA的个人理解，肯定有不对的地方，还请各位大牛多多指教。下面先给出一下PCA的资料地址，都是我收集的： amp;tid=146626amp;tid=204069amp;tid=54600降维.html上面的网址都是一些pca原理啊，实现什么的介绍。具体的PCA的算法的理论基础呢，我这里就不详细说了，因为我也没有看具体详细，所以如果想要彻底的弄明白PCA的工作原来，还是请到wiki上看吧，写的非常清晰，我因为临时用一下，就写个大致的原理就可以了。ＰＣＡ原理：PCA的原理就是将原来的样本数据投影到一个新的空间中，相当于我们在矩阵分析里面学习的将一组矩阵映射到另外的坐标系下。通过一个转换坐标，也可以理解成把一组坐标转换到另外一组坐标系下，但是在新的坐标系下，表示原来的原本不需要那么多的变量，只需要原来样本的最大的一个线性无关组的特征值对应的空间的坐标即可。 比如，原来的样本是30*1000000的维数，就是说我们有30个样本，每个样本有1000000个特征点，这个特征点太多了，我们需要对这些样本的特征点进行降维。那么在降维的时候会计算一个原来样本矩阵的协方差矩阵，这里就是1000000*1000000，当然，这个矩阵太大了，计算的时候有其他的方式进行处理，这里只是讲解基本的原理，然后通过这个1000000*1000000的协方差矩阵计算它的特征值和特征向量，最后获得具有最大特征值的特征向量构成转换矩阵。比如我们的前29个特征值已经能够占到所有特征值的99%以上，那么我们只需要提取前29个特征值对应的特征向量即可。这样就构成了一个1000000*29的转换矩阵，然后用原来的样本乘以这个转换矩阵，就可以得到原来的样本数据在新的特征空间的对应的坐标。30*1000000 * 1000000*29 = 30 *29， 这样原来的训练样本每个样本的特征值的个数就降到了29个。一般来说，PCA降维后的每个样本的特征的维数，不会超过训练样本的个数，因为超出的特征是没有意义的。下面是百度百科中对pca降维的一段解释，还是挺清晰的： “对于一个训练集，100个对象模板，特征是10维，那么它可以建立一个100*10的矩阵，作为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个10*4的矩阵，这个矩阵就是我们要求的特征矩阵，100*10的样本矩阵乘以这个10*4的特征矩阵，就得到了一个100*4的新的降维之后的样本矩阵，每个特征的维数下降了。 　　当给定一个测试的特征集之后，比如1*10维的特征，乘以上面得到的10*4的特征矩阵，便可以得到一个1*4的特征，用这个特征去分类。” 我对 ＰＣＡ的一些了解 我的pca迷惑 迷惑一 刚开始接触ＰＣＡ的时候，咨询了一个浙大的博士朋友，这朋友告诉我，如果对训练样本进行降维，那么样本的数量必须大于特征的维数，然后我当时就迷惑了，那我怎么办啊，我的人脸表情图像顶多有几百张就算多的了，但是每个图像提取的特征的维数将近有几十万，我不可能找那么多样本去啊。当时有这个迷惑也是因为matlab给出的一个实现在pca降维的函数的说明，就是princomp，这个函数的说明也是用的样本的个数多余特征的维数。后来经过试验是证实，证实了那个浙大的博士的认识是错误的，pca降维肯定不需要样本的个数大于特征的维数，要不然还降维个什么意思。比如我有30*1000000的特征矩阵，那么降维后肯定是每个样本在新的空间中的表示的特征维数不超过30.迷惑二 另外一个迷惑，在