主分量分析(PCA).docVIP

实验1:线性PCA算法 算法原理： 寻找一组正交基组成的矩阵，有，使得是对角阵。则P的行向量（也就是一组正交基），就是数据的主元向量。 对进行推导： 定义，则是一个对称阵。对进行对角化求取特征向量得： 则是一个对角阵而则是对称阵的特征向量排成的矩阵。 这里要提出的一点是，是一个的矩阵，而它将有个特征向量。其中是矩阵的秩。如果，则即为退化阵。此时分解出的特征向量不能覆盖整个空间。此时只需要在保证基的正交性的前提下，在剩余的空间中任意取得维正交向量填充的空格即可。它们将不对结果造成影响。因为此时对应于这些特征向量的特征值，也就是方差值为零。 求出特征向量矩阵后我们取，则，由线形代数可知矩阵有性质，从而进行如下计算： 可知此时的就是我们需要求得变换基。至此我们可以得到PCA的结果： 的主元即是的特征向量，也就是矩阵的行向量。 矩阵对角线上第i个元素是数据在方向的方差。 计算PCA求解的一般步骤： （1）采集数据形成的矩阵。为观测变量个数，为采样点个数。 （2）在每个观测变量（矩阵行向量）上减去该观测变量的平均值得到矩阵。 （3）对的协方差阵进行特征分解： 式中：是对角阵，，各为的特征根，为特征矩阵，它的各列为特征矢量。求出特征根后和特征矩阵后，对特征根进行重新排列，使得，特征矢量进行相应的交换。 （4）把前乘到数据阵上，得： 的各行即为的主分量，他们在中是依能量大小排列的。