主成分分析PCA(含有详细推导过程以和案例分析matlab版).docxVIP

主成分分析法 (PCA) 在实际问题中 . 我们经常会遇到研究多个变量的问题 . 而且在多数情况下 . 多个变量之间 常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性 . 势必增加了分析问题 的复杂性。如何从多个变量中综合为少数几个代表性变量 . 既能够代表原始变量的绝大多数 信息 . 又互不相关 . 并且在新的综合变量基础上 . 可以进一步的统计分析 . 这时就需要进行主 成分分析。 I.主成分分析法(PCA)模型 (一)主成分分析的基本思想 主成分分析是采取一种数学降维的方法 . 找出几个综合变量来代替原来众多的变量 . 使 这些综合变量能尽可能地代表原来变量的信息量 . 而且彼此之间互不相关。这种将把多个变 量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量 . 重新组合为一组新的 相互无关的综合变量来代替原来变量。通常 . 数学上的处理方法就是将原来的变量做线性组 合 . 作为新的综合变量 . 但是这种组合如果不加以限制 . 则可以有很多 . 应该如何选择呢？如 果将选取的第一个线性组合即第一个综合变量记为 F1 . 自然希望它尽可能多地反映原来变 量的信息.这里“信息”用方差来测量.即希望Var(F1)越大.表示F1包含的信息越多。因此 在所有的线性组合中所选取的 Fi应该是方差最大的.故称Fi为第一主成分。如果第一主成分 不足以代表原来 p个变量白M言息.再考虑选取F2即第二个线性组合.为了有效地反映原来 信息 . Fi 已有的信息就不需要再出现在 F2 中. 用数学语言表达就是要求 Cov(Fi ,F2) 0 . 称F2为第二主成分.依此类推可以构造出第三、四……第 p个主成分。 (二)主成分分析的数学模型 对于一个本￥本资料.观测p个变量x1,x2, xp. n个样品的数据资料阵为： TOC \o 1-5 \h \z xii xi2 xip x2i x22 x2 p \o Current Document X xi , x2 , x p xni xn2 xnp x1 j其中： xj x2jj 1,2, pxnj主成分分析就是将 p 个观测变量综合成为p 个新的变量（综合变量） . 即F1a11x1a12x2a1 p xpF2a21 x1a22x x1 j 其中： xj x2j j 1,2, p xnj 主成分分析就是将 p 个观测变量综合成为 p 个新的变量（综合变量） . 即 F1 a11x1 a12x2 a1 p xp F2 a21 x1 a22x2 a2pxp Fp a p1 x1 ap2x2 appxp 简写为： Fj j1 x1 j2 x2 x jp p 要求模型满足以下条件： ①Fi,Fj互不相关（ ② F1 的方差大于 F2 22 ③ ak1 ak 2 是.称Fi为第一主成分 分量。这里 aij 我们称为主成分系数。 上述模型可用矩阵表示为： 1,2, ,p i j.i,j 的方差大于 akp2 1 1,2, ,p) F3 的方差 . 依次类推 k 1,2, p. .F2为第二主成分.依此类推.有第p个主成分。主成分又叫主 F AX . 其中 F1 F2 x1 x2 Fp xp a11 a12 a21 a1p a2p a1 ap1 ap2 app ap A称为主成分系数矩阵。 （三）主成分分析的几何解释 假设有n个样品.每个样品有二个变量.即在二维空间中讨论主成分的几何意义。 设n个 将坐标系进行正交旋转一个角度.使其椭圆长轴方向取坐标yi.在椭圆短轴方向取坐 将坐标系进行正交旋转一个角度 .使其椭圆长轴方向取坐标 yijy2jX1jX1j(cossin1,2X2j sin)X2jcos写成矩阵形式为： Y y11y21y12yi ncossiny yij y2j X1j X1j( cos sin 1,2 X2j sin )X2j cos 写成矩阵形式为： Y y11 y21 y12 yi n cos sin y22 sin X11 X12 Xm cos X21 X22 X2n 其中U为坐标旋转变换矩阵.它是正交矩阵.即有U U 1,UU I .即满足 ?2 2 ) sin cos 1。 经过旋转变换后.得到下图的新坐标: 图 2 主成分几何解释图 新坐标 y1 y2 有如下性质： n 个点的坐标 y1 和 y2 的相关几乎为零。 二维平面上的 n 个点的方差大部分都归结为 y1 轴上 . 而 y2 轴上的方差较小。 y1和 y称为原始变量Xi和X2的综合变量。由于n个点在y1轴上的方差最大.因而将二 维空间的点用在 y1 轴上的一维综合变量来代替 . 所损失的信息量最小 . 由此称 y1 轴