主成分分析PCA(含有详细推导过程以及案例分析matlab版)（已处理）.doc

主成分分析法 PCA 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望越大，表示包含的信息越多。因此在所有的线性组合中所选取的应该是方差最大的，故称为第一主成分。如果第一主成分不足以代表原来个变量的信息，再考虑选取即第二个线性组合，为了有效地反映原来信息，已有的信息就不需要再出现在中，用数学语言表达就是要求，称为第二主成分，依此类推可以构造出第三、四……第个主成分。 （二）主成分分析的数学模型 对于一个样本资料，观测个变量，个样品的数据资料阵为： 其中： 主成分分析就是将个观测变量综合成为个新的变量（综合变量），即 简写为： 要求模型满足以下条件： ①互不相关（，） ②的方差大于的方差大于的方差，依次类推 ③ 于是，称为第一主成分，为第二主成分，依此类推，有第个主成分。主成分又叫主分量。这里我们称为主成分系数。 上述模型可用矩阵表示为： ，其中 称为主成分系数矩阵。 三 主成分分析的几何解释 假设有个样品，每个样品有二个变量，即在二维空间中讨论主成分的几何意义。设个样品在二维空间中的分布大致为一个椭园，如下图所示： 图1 主成分几何解释图 将坐标系进行正交旋转一个角度，使其椭圆长轴方向取坐标，在椭圆短轴方向取坐标，旋转公式为 写成矩阵形式为： 其中为坐标旋转变换矩阵，它是正交矩阵，即有，即满足。 经过旋转变换后，得到下图的新坐标： 图2 主成分几何解释图 新坐标有如下性质： 1 个点的坐标和的相关几乎为零。 2 二维平面上的个点的方差大部分都归结为轴上，而轴上的方差较小。 和称为原始变量和的综合变量。由于个点在轴上的方差最大，因而将二维空间的点用在轴上的一维综合变量来代替，所损失的信息量最小，由此称轴为第一主成分，轴与轴正交，有较小的方差，称它为第二主成分。 II. 主成分分析 其协差阵应为， 2、设原始数据的协方差阵为，如果原始数据进行了标准化处理后则协方差阵等于相关矩阵，即有， 3、再由主成分数学模型条件③和正交矩阵的性质，若能够满足条件③最好要求为正交矩阵，即满足 于是，将原始数据的协方差代入主成分的协差阵公式得 展开上式得 展开等式两边，根据矩阵相等的性质，这里只根据第一列得出的方程为： 为了得到该齐次方程的解，要求其系数矩阵行列式为0，即 显然，是相关系数矩阵的特征值，是相应的特征向量。 根据第二列、第三列等可以得到类似的方程，于是是方程 的个根，为特征方程的特征根，是其特征向量的分量。 4、下面再证明主成分的方差是依次递减 设相关系数矩阵的个特征根为，相应的特征向量为 相对于的方差为 同样有：，即主成分的方差依次递减。并且协方差为： 综上所述，根据证明有，主成分分析中的主成分协方差应该是对角矩阵，其对角线上的元素恰好是原始数据相关矩阵的特征值，而主成分系数矩阵的元素则是原始数据相关矩阵特征值相应的特征向量。矩阵是一个正交矩阵。 于是，变量经过变换后得到新的综合变量 新的随机变量彼此不相关，且方差依次递减。 二、主成分分析的计算步骤 假设样本观测数据矩阵为： 第一步：对原始数据进行标准化处理。 其中 第二步：计算样本相关系数矩阵。 为方便，假定原始数据标准化后仍用表示，则经标准化处理后的数据的相关系数为: 第三步：用雅克比方法求相关系数矩阵的特征值（）和相应的特征向量。 第四步：选择重要的主成分，并写出主成分表达式。 主成分分析可以得到个主成分，但是，由于各个主成分的方差是递减的，包含的信息量也是递减的，所以实际分析时，一般不是选取个主成分，而是根据各个主成分累计贡献率的大小选取前个主成分，这里贡献率就是指某个主成分的方差占全部方差的比重，实际也就是某个特征值占全部特征值合计的比重。即 贡献率 贡献率越大，说明该主成分所包含的原始变量的信息越强。主成分个数的选取，主要根据主成分的累积贡献率来决定，即一般要求累计贡献率达到85%以上，这样才能保证综合变量能包括原始变量的绝大多数信息。 另外，在实际应用中，选择了重要的主成分后，还要注意主成分实际含义解释。主成分分析中一个很关键的问题是如何给主成分赋予新的意义，给出合理的解释。一般而言，这个解释是根据主成分表达式的系数结合定性分析来进行的。主成分是原来变量的线性组合，在这个线性组合中个变量的系数有大有小，有正有负，有的大小相当