机器学习-主成分及奇异值分解材料.docVIP

机 器 学 习 期 末 报 告 成员：白子轩，安勇正，李文涛，王琳 时间：2016年4月9日 主成分分析（PCA）与奇异值分解（SVD)原理及其应用 一、导论 在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。 二、主成分分析（PCA） 主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标(比如p个指标），重新组合成一组较少个数的互不相关的综合指标来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。 设表示原变量的第一个线性组合所形成的主成分指标，即,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差越大，表示包含的信息越多。所含的信息量最大，因此在所有的线性组合中选取的应该是方差最大的，故称为第一主成分如果第一主成分不足以代表原来个指标的信息，再考虑选取，为有效地反映原信息，已有的信息就不需要再出现中，与要保持独立、不相关，用数学语言表达就是，是与不相关的的所有线性组合中方差最大的，故称第二主成分，依此类推构造出为原变量指标第……、第个主成分。 根据以上分析得知： (1)与互不相关，即,并有，其中Σ为的协方差阵 (2)是的一切线性组合（系数满足上述要求）中方差最大的,即是与都不相关的的所有线性组合中方差最大者。 为构造的新变量指标，即原变量指标的第第个主成分在诸主成分上的荷载。从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前个较大特征根就代表前个较大的主成分方差值；原变量协方差矩阵前个较大的特征值（这样取才能保证主成分的方差依次最大）所对应的特征向量就是相应原变量在主成分上的载荷，为了加以限制，载荷系数启用的是对应的单位化的特征向量，即有=1。 三、主成分分析法的计算步骤 主成分分析的具体步骤如下： （1）计算协方差矩阵 计算样品数据的协方差矩阵：，其中 i，j=1，2，…，p （2）求出Σ的特征值及相应的正交化单位特征向量 Σ的前个较大的特征值,就是前个主成分对应的方差，对应的单位特征向量就是原来变量在主成分上的载荷系数，则原变量的第个主成分为： 主成分的方差（信息）贡献率用来反映信息量的大小，为： （3）选择主成分 最终要选择几个主成分，即中的确定是通过方差（信息）累计贡献率来确定 当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的就是抽取的前个主成分。 （4）计算主成分得分 计算样品在个主成分上的得分： 实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换： 其中：， 根据数学公式知道，①任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。②另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。 四、奇异值分解（SVD） 定义：设为m*n阶矩阵，的个特征值的非负平方根叫作的奇异值，记为。如果把的特征值记为，则。定理（奇异值分解）设为m*n阶复矩阵，则存在阶酉阵和阶酉阵，使得： 其中。推论：设为m*n阶实矩阵，则存在阶正交阵和阶正交阵，使得，其中。 奇异值分解提供了一些关于的信息，例如非零奇异值的数目（的阶数）和的秩相同，一旦秩确定，那么的前列构成了的列向量空间的正交基，另外的从右向左列为的kernel的基。 由的奇异值分解 可见，是矩阵的加权和，其中是权重。若将奇异值按递减顺序排列 显然，奇异值大的项对矩阵的贡献大。因此，当舍去了权重小的部分项后仍然能够较好地“逼近”，这一特性常被用来压缩图像。的秩逼近定义为 五、奇异值分解（SVD)与主成分分析（PCA）的关系 PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在维空间中，我们可以找到个这样的坐标轴，我们取前