多元统计第四章第一部分技术报告.pptVIP

一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使 其中 是A的特征根。 主成分分析的数学推导 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵A属于不同特征根所对应的特征向量是正交的，即有 令 主成分分析的数学推导 （一） 第一主成分 设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 主成分分析的数学推导 其中?1， ?2，…， ?p为Σx的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为 原始变量的线性组合是否有最大的方差。 主成分分析的数学推导 设有p维正交向量 主成分分析的数学推导 等号成立： 主成分分析的数学推导 当且仅当a1 =u1时，即 时，有最大的方差?1。因为Var(F1)=u’1?xu1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 主成分分析的数学推导 （二） 第二主成分 在约束条件 下，寻找第二主成分 因为 所以 则，对p维向量 ，有 * 主成分分析的数学推导 所以如果取线性变换： 则 的方差次大。 类推 * 主成分分析的数学推导 写为矩阵形式： * 主成分分析的数学推导 * 第四章 主成分分析 第一节 主成分的主要思想 第二节 主成分的几何意义及数学推导 第三节 主成分的性质 第四节 主成分方法的步骤 第五节 实例分析与计算机实现 多元统计分析处理的是多变量（多指标）问题。由于变量较多，增加了分析问题的复杂性。但在实际问题中，变量之间可能存在一定的相关性，因此，多变量中可能存在信息的重叠。人们自然希望通过克服相关性、重叠性，用较少的变量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。 汇报什么？ 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。 主成分分析 每个人都会遇到有很多变量的数据。比如全国或各个地区的带有许多经济和社会变量的数据；各个学校的研究、教学等各种变量的数据等等。 这些数据的共同特点是变量很多，在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。下面介绍两种把变量维数降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。实际上主成分分析可以说是因子分析的一个特例。在引进主成分分析之前，先看下面的例子。 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。 §1 主成分基本思想 在进行主成分分析后，竟以97.4％的精度，用三项变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率?I以及时间t因素做相关分析，得到下表： * ? F1 F2 F3 i △i t F1 1 ? ? ? ? ? F2 0 1 ? ? ? ? F3 0 0 1 ? ? ? i 0.995 -0.041 0.057 l ? ? △i -0.056 0.948 -0.124 -0.102 l ? t -0.369 -0.282 -0.836 -0.414 -0.112 1 * 主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。 在社会经济的研究中，为了全面系统