主成分分析杨.pptVIP

主成分分析 Principal Component Analysis 什么是主成分分析 主成分分析是一种把多个指标综合为少数几个指标的统计方法。 主成分分析的功能 简化数据，或者叫降维。 揭示变量之间的关系。 进行统计解释。 主成分分析的应用例子 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。 主成分分析的应用例子 在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率 以及时间t因素做相关分析，得到下表： 1 总体主成分 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，它们组成一个随机向量，记为： 向量的协方差矩阵 一般向量的协方差矩阵 设 是一个随机向量，若 和 的协方差 存在，则 的协方差矩阵为： 总体主成分的定义 考虑这P个随机变量的特殊的线性组合： 总体主成分的定义 令 , …, 总体主成分的定义 将这个线性组合表示为： 且 为协方差矩阵 的第 个特征根 对应的单位正交特征向量， 称 为 的第 个（总体）主成分。 总体主成分的定义 所谓单位正交特征向量是指 总体主成分的性质 （1）主成分之间不相关。可计算 （2） 达到最大的单位向量。且可计算 总体主成分的性质 （3）主成分组成的随机向量记为： 则　　 其中　　 即A为特征向量　　　　　　组成的矩阵 且为正交阵： 还有，Ｚ的协方差阵为对角矩阵： 总体主成分的性质 （４）系统总方差不变，即 这样，存在m(mp)使 即原始变量提供的总信息（总方差）可用前m个主成分所提供的信息来近似。 主成分的贡献率 在误差容许的范围内，可挑选合适的m (mp)，用个m主成分代替p个原始变量，就会达到降维的目的。 我们称 为主成分 的贡献率。 称 为主成分 的累积贡献率。 注：通常取使累积贡献率达到75%以上的m个主成分就可以了。 总体主成分的性质 主成分与原始变量的相关系数： 称 为因子载荷量，全部因子载荷量组成一个方阵叫因子载荷矩阵。 总体主成分的性质 （5）因子载荷矩阵各行之平方和： （6）因子载荷矩阵各列之加权平方和： 另一种贡献率 前m个主成分对某原始变量 的贡献率： 注：两种贡献率不同。 主成分的两个例子 例1 设随机向量的协方差矩阵为： 试求主成分。 主成分的两个例子 例2 设随机向量的协方差矩阵为： 试求主成分及贡献率。 2 标准化变量的主成分 原始变量的计量单位改变之后，可能导致主成分发生变化，因此有必要标准化：将 标准化为 计算公式为 标准化变量的主成分 标准化的随机向量 的协方差矩阵与原始随即向量 的相关矩阵相等： 所以，可由相关阵出发求出 的主成分。 标准化变量主成分的性质 （1）系统的总信息量为： （2）相关系数为： 标准化后的因子载荷矩阵为: 标准化后的因子载荷矩阵 标准化变量主成分的例子 例3 设 的协方差矩阵 和相关矩阵 分别为： 对比其主成分。 3 样本主成分 在实际问题中,总体随机变量的协方差矩阵和相关矩阵都是未知的,需要抽样估计,这样就得到了样本主成分。 假设对　　　　　　　　 的第一次观测得到　　　　　　　　　　 第二次观测得到 一般地，第t次观测得到 各次观测值也叫样品。 样本数据矩阵 共有　　　个数据，用一个样本数据矩阵　表示： 样本主成分 由此可以计算样本均值　，样本协方差矩阵　，样本相关矩阵　等。可以利用样本相关矩阵　求得标准化变量的样本主