主要分量分析-MIRLab.DOC

主要分量分析 主要分量分析（Principal Component Analysis，簡稱PCA）的目的是要對一組高維空間的資料進行投影（或線性組合），並進而找出最佳的投影方式，使得投影後的資料最能保持原資料的特性。PCA又稱為Larhunen-Loeve轉換，並被廣泛地用在數位訊號處理，影像處理、圖形辨識及資料聚類。 假設我們的資料點是由維度為m的向量來表示，其中。為簡化討論，我們假設這一組資料的平均值是零，也就是說： 如果這一組資料不滿足此條件，只需將之平移，以平均點為新座標原點即可。我們的目標是要找一個單位向量u，使得在u方向的投影平方和為最大。我們可用矩陣A來代表這一組資料點： 此時這一組資料在u方向的投影可以表示為： 而投影平方的總和為： 欲使投影總和為最小，並滿足，我們可引進Lagrange Multiplier，並形成新的目標函數： 欲求上列之極值，直接微分即可： 因此在極值發生時，u是的固有單位向量，則是對應的固有值。此時的投影量總和為： 換句話說，如果我們將的固有值排序成 而對應的固有向量則是，那麼的最大值是，發生在；而最小值是，發生在。 Once we have found the first principal component , we want to find the second principal component that is orthogonal to and have the largest projection. This can be formulated as follows: After take the derivative, we have After multiplying the above expression by , we have Therefore we have Which implies is the eigenvector of with the second largest eigenvalue. By continue this process, we can show that the other projections are given by the eigenvectors with decreasing eigenvalues. In fact, since is symmetric and semi positive definite, we have is a orthonormal basis All eigenvalues are positive or zero, and the number of non-zero eigenvalues is equal to the rank of . In practice, we take the minimum k such that the proportion of variance explained by the first k principal components is greater than or equal to 90%: 由於是對稱矩陣，因此其固有向量是一組正交（Orthogonal）的基底，而且任一向量可用此基底表示如下：