PA(主分量分析).docVIP

把从浞合信乃中求出卞.分ffl （能量最大的成份）的方法称为主分S分析（PCA）,而次分量 （Minor Components, MCs）与主分量（Principal Components, PCs）相对，它是混合信号中能量 最小的成分，被认为足不重要的或足噪声有关的信号，把确定次分量的方法称为次分量分析 （MCA）. PCA nJ?以用于减少特征空间维数、确定变量的线性组合、选择最有用的变景、变虽辨识、识 别目标或是昇常似分纟II等。主分量了空间提供了从高维数裾到低维数据在均方误差意义下的数裾 压缩，仑能最大程度地减少方差。 由于PCA实际计算中只涉及到输入数据概率密度分布函数（Pdf）的二阶特性（协方差糾阵）， 所以解岀的各主分量只互相正交（不相关），仴并不满足相互独立。而H倍号的人部分重要特征 往往包含在Pdf的高阶统计特性屮，所以U有多变量观测数据是由高斯分如的源信号构成，PCA 方法才冇效。 非线性PCA （NLPCA）即将高阶累积S引入标准的PCA屮，是巾芬兰学各Karhimen和Oja苜 先提出并将K应用于ICA。它的可以完成对输入信3的盲分离。岛阶累积量是以隐介的方式引入 计算的，采用自适应迭代方法便于工程实现。标准的PCA棊于倍号的协方差矩阵仅能处理高斯倍 号，而NLPCA可以处理非髙斯信号。 PCA （Principal Component Analysis），即主成分分析，主要用于数据降维。 对于一组样木的feature组成的多维量，多维句量里的某些元素木身没冇区分性，比如某 个元素在所有的样本中都为1,或者与1差距不大，那么这个元素本身就没有区分性，用它做特 征来区分，贡献会非常小。所以我们的H的是找那些变化人的元素，即方差人的那些维，而去除 掉那些变化不人的维，从而使feature留下的都足最能代衣此元素的“精品”，而且计算景也变 小了。 对于一个k维的feature來说，ffl当于它的每一维feature与其他维都是正交的（和当于在 多维坐标系屮，坐标轴都是垂?的），那么我们吋以变化这些维的坐标系，从而使这个feature 在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如 果按照X，y坐标?米投影，这些点的x和y的屈性很难川于区分他们，因为他们在x，y轴上坐标变 化的方差都差不多，我们无法根据这个点的某个x属tt來判断这个点足哪个，而如果将來标轴旋 转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小， 所以可以考虑只保留这些点的氏轴属性，來区分椭阀上的点，这样，区分性比x，^h的方法要好! 所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将feature从商维降 到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。 通过求样本矩阵的协方差矩阵,然后求fli协方差矩阵的特征向量，这些特征向量就可以构成这个 投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。 举一个例子： 对于一个训练集，100个样木，feature是10维，那么它可以建立一个100*10的矩阵，作 为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的 特征值和特征向量，应该#10个特征值和特征向量，我们根裾特征值的人小，取前四个特征值 所对应的特征向量，构成-?个10*4的矩阵，这个矩阵就足我们要求的特征矩阵，100*10的样本 矩阵乘以这个10*4的特征矩阵，就得到了一个100*4的新的降维之G的样本矩阵，每个样本的 维数下降了。 当给定一个测试的feature集之后，比如1*10维的feature,厢以上囲得到的10*4的特征 矩阵，便可以得至1J一个1*4的feature,用这个feature去分类。 所以做PCA实际上足求得这个投影矩阵，川髙维的特征乘以这个投影矩阵，便可以将高维特 征的维数下降到指定的维数。 在opencv里面打专门的函数，可以得到这个这个投影矩阵(特征矩阵)。 [c-sharp] view plaincopyprint? void cvCalcPCA( const CvArr* data, CvArr* avg, CvArr* eigenvalues, CvArr* eigenvectors, int flags ): 2.3.4.5.6.7.8.9.10. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 14. 15. 16. 17. 18. 19. 20. CvMat* pData = cvCreateMat(100, 2 CV 32HC1): //二维数据点 for(int i = 0; i 100; i++) {