奇异值分解与主成分分析..docxVIP

数值实验03：奇异值分解与主成分分析主成分分析，也简称为PCA。它是一种对数据进行分析的技术，属于多元统计分析的范畴，最重要的应用是对原有数据进行简化。这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便地应用于许多实际课题。基本问题1、从代数的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空间，或者说它是线性变换Z=PX，而新的基要怎样揭示原有的数据间的关系？PCA适用的前提条件是什么？答：主成分分析在统计学中指的是一种简化数据集的技术，是一个线性变换。它把数据变换到一个新的坐标系中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能保留住数据的最重要方面。PCA适用的前提条件为尽量不改变数据特性：满足线性要求。由于PCA的目标是使用另一组新的基去重新描述得到的数据空间，它是线性变换Z=PX，这使得它能进行的主元分析之间的关系也是线性的。符合正态分布或指数分布。如果数据不满足正态分布或指数分布，方差和协方差就不能很好地反映噪声和冗余，PCA将失效。本身具有较高的信噪比。在进行数据处理时把具有较高方差的一维向量当作主元，方差较小的当作噪声，这样可以很方便的取出数据中的主要成分，去除次要部分的噪声。主要成分能够很好的还原数据的信息。主元正交。主元正交能够使用一系列的线性变换对数据进行处理，提高PCA的性能及效率。2、对于一组具有m个观测变量，n个采样点的数据X，将每个观测变量的采样值写为行向量，可以得到一个的矩阵，这m个观测变量的协方差矩阵如下：证明协方差矩阵是m阶的对称半正定矩阵。为什么该矩阵对角线上的元素对应的是观测变量的方差？答：因为，而，所以，CX为对称矩阵。对CX求特征值，由于X矩阵和它的转置矩阵的特征值相等，设为λ。所以CX矩阵的特征值为λ2≥0。所以该矩阵为半正定矩阵。综上所述，矩阵CX为对称半正定矩阵,主对角元素是观测变量的方差。3、对于新定义的Z=PX，推导该变量的协方差矩阵CZ与CX的关系。答：寻找一组正交基组成矩阵P，Z=PX，使得CZ为对角矩阵。则有所以，。实验问题4、对矩阵X进行奇异值分解结果如何？它与CX的特征值分解有何关系？讨论数据的中心化与归一化对计算结果的影响。答：对矩阵X进行奇异值分解，将X分解成三个矩阵：其中U是m*m 的矩阵，V是n*n矩阵，Λ是m*n 矩阵。U是矩阵XXT的特征值矩阵，V是矩阵XTX的特征值矩阵。Λ是伪对角矩阵，对角线上的值就是奇异值。CX矩阵的特征值乘上（n-1）等于X矩阵特征值的平方。CX矩阵的特征向量和X矩阵分解出来的U矩阵的列向量线性相关。中心化与归一化：中心化：每个维度数据都减去该维度数据的平均值；归一化：每个维度数据都除以该维度数据的标准差。中心化和归一化也称为数据的标准化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。原始数据通过标准化处理后，它们之间的可比性增强、影响因素减少，从而更利于分析。5、随机生成若干个的矩阵X，分别计算矩阵X的奇异值分解与矩阵CX的特征值分解，它们有何关系？分析和关注数据的中心化与归一化对计算结果产生的差异。答：设矩阵X为原矩阵，矩阵B为PCA分解后得到的酉矩阵，矩阵C为PCA分解后得到的对角矩阵，矩阵U为SVD分解后的左矩阵，矩阵V为SVD分解后的右矩阵，矩阵S为SVD分解后中间的对角矩阵。第一组数据：X =[6227586703353571]CX=[23.333333333333322.3333333333333 21 26.6666666666667 22.333333333333334 32 30 21 32 32.6666666666667 26 26.666666666666730 26 41.3333333333333]B = [0.411786479069834-0.292084005692979-0.853173755189085-0.1311997436360580.5271317727355930.3773760987778180.236520081252328-0.7237248271327010.4963008950263320.5788309