主成分分析（7.28）.pptVIP

zf zf 第五章 主成分分析 Principal Components Analysis 多个指标的问题: 1、指标与指标可能存在相关关系 信息重叠，分析偏误 2、指标太多，增加问题的复杂性和分析难度 如何避免？ 5.1 主成分分析的基本思想 一项十分著名的工作是美国的统计学家斯通 stone 在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。 更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率?I以及时间t因素做相关分析，得到下表： 主成分与原始变量之间的关系： （1）主成分保留了原始变量绝大多数信息。 （2）主成分的个数大大少于原始变量的数目。 （3）各个主成分之间互不相关。 （4）每个主成分都是原始变量的线性组合。 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，…，Fk k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。 原始指标的线性组合Fi： 满足如下的条件： 1、每个主成分的系数平方和为1。即 2、主成分之间相互独立，即无重叠的信息。即 3、主成分的方差依次递减，重要性依次递减 假设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。如图所示： 由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。 旋转变换的目的：将原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。 主成分分析的几何意义：主成分分析的过程也就是坐标旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，新坐标系中各坐标轴的方向就是原始数据方差最大的方向。 了解了主成分分析的基本思想、数学和几何意义后，问题的关键： 1、如何进行主成分分析？（主成分分析的方法） 基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。 2、如何确定主成分个数？ 主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 3、如何解释主成分所包含的经济意义？ 主成分分析的目标： 1、从相关的X1， X2，… Xk,求出相互独立的新综合变量（主成分）Y1,Y2…Yk。 2、Y＝（ Y1,Y2…Yk ）的方差（反映信息的含量无遗漏或损失的指标）等于X＝（ X1,X2…Xk ）的方差 。 X与Y之间的计算关系是： 矩阵知识回顾： （1）特征根与特征向量 A、若对任意的k阶方阵C，有数字 与向量 满足： ，则称 为C的特征根， 为C的相应于 的特征向量。 B、同时，方阵C的特征根 是k阶方程 的根。 （2）任一k阶方阵C的特征根 的性质： （3）任一k阶的实对称矩阵C的性质： A、实对称矩阵C的非零特征根的数目＝C的秩 B、k阶的实对称矩阵存在k个实特征根 C、实对称矩阵的不同特征根的特征向量是正交的 D、若 是实对称矩阵C的单位特征向量，则 若矩阵 ，是由特征向量 所构成的，则有： 基于协方差矩阵求解主成分 假设有n个样本，每个样本有 p 个观测变量。运用主成分分析构造以下 p 个主成分关于原始变量的线性组合模型: 假设p个原始变量的协方差阵为: 对角线外的元素不全为0，意味着原始变量 x1,x2, …,xp存在相关关系。 如何运用主成分分析将这些具有相关关系的变量转化为没有相关关系的新变量（主成分）呢？？ 新变量之间没有相关关系，则意味着它的方差协方差阵为对角矩阵： 因为Σx 为正定对称矩阵，所以依据线性代数的知识可知有正交矩阵 A 将Σx 旋转变换为： 基于协方差矩阵求解主成分的步骤 1、 计算协方差矩阵和其特征根 2、计算协方差矩阵特征根对应的特征向量 3