北京大学光华管理学院应用统计分析课件第10节-主成分分析.ppt

其中?1， ?2，…， ?p为Σx的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为原始 变量的线性组合是否有最大的方差。 设有P维正交向量 等号成立： 当且仅当a1 =u1时，即 时，有最大的方差?1。因为Var(F1)=u’1?xu1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 （二） 第二主成分 在约束条件 下，寻找第二主成分 因为 所以 则，对p维向量 ，有 * 所以如果取线性变换： 则 的方差次大。 类推 * 写为矩阵形式： * §4 主成分的性质 一、均值 二、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。 协方差矩阵?的对角线上的元素之和等于特征根之和。 tr(cov(F))=tr(U’cov(X)U)=tr(cov(X)) * 三、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率 ，反映了原来P个指标多大的信息，有多大的综合能力 。 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。 * 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率≥80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。 * 四、原始变量与主成分之间的相关系数 * 可见， 和 的相关的密切程度取决于对应线性组合系数的大小。 * * 五、原始变量被主成分的提取率 前面我们讨论了主成分的贡献率和累计贡献率，他们度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。 * * 主成分分析 * 主成分分析 主成分回归 * 汇报什么？ 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。 * 主成分分析 每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量的数据；各个学校的研究、教学等各种变量的数据等等。 这些数据的共同特点是变量很多，在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 本章就介绍两种把变量维数降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。实际上主成分分析可以说是因子分析的一个特例。在引进主成分分析之前，先看下面的例子。 * 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。 §1 主成分基本思想 * 在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率?I以及时间t因素做相关分析，得到下表： * ? F1 F2 F3 i i t F1 1 ? ? ? ? ? F2 0 1 ? ? ? ? F3 0 0 1 ? ? ? i 0.995 -0.041 0.057 l ? ?