【案例】主成分分析PCA(含有详细推导过程以和案例分析matlab版).docxVIP

主成分分析法 (PCA) 在实际问题中 . 我们常常会遇到争论多个变量的问题 . 而且在多数情形下 . 多个变量之间常常存在肯定的相关性；由于变量个数较多再加上变量之间的相关性 . 势必增加了分析问题的复杂性；如何从多个变量中综合为少数几个代表性变量 . 既能够代表原始变量的绝大多数信息 . 又互不相关 . 并且在新的综合变量基础上 . 可以进一步的统计分析 . 这时就需要进行主 |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载. 成分分析； 主成分分析法 (PCA)模型 （一）主成分分析的基本思想 主成分分析是实行一种数学降维的方法 . 找出几个综合变量来代替原先众多的变量 . 使这些综合变量能尽可能地代表原先变量的信息量 . 而且彼此之间互不相关；这种将把多个变 量化为少数几个相互无关的综合变量的统计分析方法就叫做主成分分析或主重量分析； 主成分分析所要做的就是设法将原先众多具有肯定相关性的变量 . 重新组合为一组新的相互无关的综合变量来代替原先变量；通常 . 数学上的处理方法就是将原先的变量做线性组合. 作为新的综合变量 . 但是这种组合假如不加以限制 . 就可以有许多 . 应当如何挑选呢？如 果将选取的第一个线性组合即第一个综合变量记为 F1. 自然期望它尽可能多地反映原先变 量的信息 . 这里“信息”用方差来测量 . 即期望 Var ( F1 ) 越大 . 表示 F1包含的信息越多；因此 在全部的线性组合中所选取的 F1 应当是方差最大的 . 故称 F1为第一主成分； 假如第一主成分 不足以代表原先 p 个变量的信息 . 再考虑选取 F2 即其次个线性组合 . 为了有效地反映原先 信息 . F1 已有的信息就不需要再显现在 F2 中. 用数学语言表达就是要求 Cov (F1 , F 2 ) 0 . 称 F2 为其次主成分 . 依此类推可以构造出第三、四??第 p 个主成分； （二）主成分分析的数学模型 对于一个样本资料 . 观测 p个变量  x1, x2,  xp . n 个样品的数据资料阵为： x11 x21 X x12 x22 x1 p x2 p  x1 , x2 , xp xn1 xn2 xnp 其中： x j x1 j x2 j ,  j 1,2, p xnj 主成分分析就是将 p个观测变量综合成为 p个新的变量（综合变量） . 即 F1 a11 x1 F2 a21 x1 a12 x2 a22 x2 a1 p xp a2 p xp |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎.  简写为： Fp ap1 x1 F j j1 x1 j 2 x2 j 1,2, , p ap 2 x2 jp x p app xp |下. |载. 要求模型满意以下条件： ① Fi , F j 互不相关（ i j . i, j 1,2, , p ） 22② F1的方差大于 2 2 F2 的方差大于 F3 的方差 . 依次类推 2③ ak1 2 ak 2 akp 1 k 1,2, p. 于是 . 称 F1为第一主成分 . F2 为其次主成分 . 依此类推 . 有第 p 个主成分； 主成分又叫主 重量；这里 a ij 我们称为主成分系数； 上述模型可用矩阵表示为： F AX F1 F2 F . 其中 x1 x2 X F p F p a11 a12 a1 p a21 a22 a2 p ap1 ap 2 a pp a1 a2 A ( 三) 主成分分析的几何说明 ap A称为主成分系数矩阵； 假设有 n 个样品 . 每个样品有二个变量 . 即在二维空间中争论主成分的几何意义； 设 n 个样品在二维空间中的分布大致为一个椭园 . 如下图所示： |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载.  图 1 主成分几何说明图 将坐标系进行正交旋转一个角度 . 使其椭圆长轴方向取坐标 标 y2 . 旋转公式为  y1 . 在椭圆短轴方向取坐 y1 j x1 j cos x2 j sin y2 j x1j ( sin ) x2 j cos j 1,2 n 写成矩阵形式为： Y y11 y 21 y12 y22 y1n y2n cos sin sin cos x11 x21 x12 x22 x1n U X x2 n 其 中 U 为 坐 标 旋 转 变 换 矩 阵 . 它 是 正 交 矩 阵 . 即