主成分分析PCA(含有详细推导过程以和案例分析matlab版).docxVIP

专业学习资料 专业学习资料 主成分分析法（PCA） 在实际问题中?我们经常会遇到研究多个变量的问题 ?而且在多数情况下?多个变量之间 常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性 ?势必增加了分析问题 的复杂性。如何从多个变量中综合为少数几个代表性变量 ?既能够代表原始变量的绝大多数 信息?又互不相关?并且在新的综合变量基础上 ?可以进一步的统计分析?这时就需要进行主成 分分析。 主成分分析法（PCA）模型 （一）主成分分析的基本思想 主成分分析是采取一种数学降维的方法 ?找出几个综合变量来代替原来众多的变量 ?使这 些综合变量能尽可能地代表原来变量的信息量 ?而且彼此之间互不相关。这种将把多个变量 化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析 。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量 ?重新组合为一组新的 相互无关的综合变量来代替原来变量 。通常?数学上的处理方法就是将原来的变量做线性组 合?作为新的综合变量?但是这种组合如果不加以限制 ?则可以有很多?应该如何选择呢？如果 将选取的第一个线性组合即第一个综合变量记为 F1 ?自然希望它尽可能多地反映原来变量的 信息?这里 信息”用方差来测量?即希望Var（Fj越大?表示Fi包含的信息越多。因此在所有 的线性组合中所选取的 Fi应该是方差最大的?故称Fi为第一主成分。如果第一主成分不足 以代表原来p个变量的信息?再考虑选取F2即第二个线性组合?为了有效地反映原来信息.Fj 已有的信息就不需要再出现在 F2中?用数学语言表达就是要求 Cov（Fi ,F2） = 0 ?称F2为第 二主成分?依此类推可以构造出第三 、四??…第p个主成分。 （二）主成分分析的数学模型 对于一个样本资料?观测P个变量x1,x2/ Xp.n个样品的数据资料阵为： XnlXn2Xip- Xnl Xn2 Xip -X1 , X2， Xp X2p *Xij X2i 其中：Xj = : j =1,2,…p 62X2 ? aipXp822X2 62X2 ? aipXp 822X2 a2pXp Fp = apiXi - ap2X2 ? appXp 简写为： Fj =〉jiXi ■ 〉）2X2 讦八、川爲jpXp 要求模型满足以下条件 ① Fi,Fj互不相关(i = j .i,j =i,2,…,p) Fi的方差大于F2的方差大于F3的方差?依次类推 2 2 2 aki ■ ak2 ■ akp i k =i,2, p. 于是?称Fi为第一主成分.F2为第二主成分.依此类推.有第p个主成分。主成分又叫主 分量。这里aij我们称为主成分系数。 上述模型可用矩阵表示为： F二AX .其中 卜i F2 X = Xi X2 ■ 1FP」  ai2 aip x a A = a21 a22… a a a2 p = a2 * fp1 ap2… aPP / l叽 A称为主成分系数矩阵。 （三）主成分分析的几何解释 假设有n个样品?每个样品有二个变量?即在二维空间中讨论主成分的几何意义 。设n个 样品在二维空间中的分布大致为一个椭园 ?如下图所示： 将坐标系进行正交旋转一个角度 二?使其椭圆长轴方向取坐标 y1 .在椭圆短轴方向取坐 标y .旋转公式为 = x1j cos^ x2j sin 丁 y2j = x“ （_sin寸） x2j cos丁 j =1,2…n 写成矩阵形式为：Y = |y11 yi2… yin 1 Ml y22 y2n_ COS sin8| % …Xml =U X =I 小 cos日 ]x2i f—s in 日 x22 x2n _ 其中U为坐标旋转变换矩阵.它是正交矩阵.即有U ?二U^UUI .即满足 经过旋转变换后?得到下图的新坐标 图2主成分几何解释图 新坐标yi - y2有如下性质： (1 )n个点的坐标yi和 y的相关几乎为零。 (2)二维平面上的n个点的方差大部分都归结为 y1轴上.而y2轴上的方差较小。 yi和 y称为原始变量Xi和X2的综合变量。由于n个点在 力轴上的方差最大?因而将二 维空间的点用在 yi轴上的一维综合变量来代替 ?所损失的信息量最小?由此称yi轴为第一主 成分.y2轴与yi轴正交.有较小的方差?称它为第二主成分。 主成分分析法(PCA)推导 一、主成分的导出 根据主成分分析的数学模型的定义 ?要进行主成分分析?就需要根据原始数据?以及模型 的三个条件的要求?如何求出主成分系数?以便得到主成分模型。这就是导出主成分所要解决 的问题。 i、根据主成分数学模型的条件 ①要求主成分之间互不相关 ?为此主成分之间的协差阵 应该是一个对角阵。即?对于主成分? F 二 AX 其协差阵应为 Var(F)二Var(AX)