第11章主成分分析与因子.pptVIP

第11章 主成分分析与因子分析 《管理统计学》 谢湘生 广东工业大学管理学院 11.1 主成分分析 主成分概念首先由 Karl Pearson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。 在多数实际问题评估中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。 主成分分析就是设法将原来指标重新组合成一组新的互不相关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。 引例 一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。 11.1.2 数学描述 样本描述 11.1.3 几何解释示例 为什么要根据方差确定主成分？ 11.1.4 有关矩阵知识的回顾 一、两个线性代数的结论 11.1.5 主成分的计算结论 主成分的性质 精度分析 11.1.6 一个简单的等价算法 11.2 因子分析 11.2.1 概述 11.2.2 数学描述与主要特征 11.2.3 因子模型与主成分模型的区别 11.2.4 对应于样本模型的总体模型 11.2.5 变量x1, x2, …, xk之间的相关性检验 11.2.6 公共因子负载的求法 11.2.7 示例 11.2.8 因子值的求法 11.3 用SPSS进行因子分析 （4）其他求公共因子的模型方法 主轴因子法(Principal Axis Factoring) 最小二乘法(Least Squares) 极大似然法(Maximum Likelihood) α因子提取法(Alpha Factoring) 映像分析法(Image Factoring) （5）负载矩阵的Ak?m不唯一性。 设Ak?m是一个已经得到的负载矩阵。对于任意的正交矩阵Tm?m ，有T T=T-1。由于Ak?m是负载矩阵，因此AAT=R*(X)。但是(AT)(AT)T=ATTTAT=AAT=R*(X)。 这表明AT也是负载矩阵。也就是说负载矩阵是不唯一的。 2. 旋转并解释因子 负载矩阵Ak?m不是唯一的，对任意已经得到的一个负载矩阵Ak?m，都可以通过右乘一个正交矩阵T得到一个新的负载矩阵AT。但右乘一个正交矩阵，相当于作一次坐标旋转变换。 实际上，按照前面的方法得到的负载矩阵Ak?m所对应的公共因子往往综合性太强，以致难以看出因子的实际意义，因此需要通过旋转坐标轴，使负载尽可能向?1、0的方向靠近。从而降低因子的综合性，使其实际意义凸现出来。 坐标轴的旋转，有两种基本方式：正交旋转（保持因子之间的正交性）与斜交旋转（旋转后因子之间不再保持正交）。 所以如果取线性变换： 则 的方差就可达到第二大。 第一主成分 第二主成分 … 第 k 主成分 依此类推 写为矩阵形式： 是协方差矩阵Cov(X)的单位特征根构成的矩阵 一、均值 二、方差为所有特征根之和 说明主成分分析把k个随机变量的总方差分解成为k个不相关的随机变量的方差之和。 协方差矩阵?的对角线上的元素之和等于特征根之和。 其中 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为它的贡献率。贡献率说明该主成分反映了原来k个指标多大的信息，有多大的综合能力 。 2）累积贡献率：前s个主成分共有多大的综合能力，用这s个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。 我们进行主成分分析的目的之一是希望用尽可能少的主成分Y1，Y2，…，Ys（s≤k）代替原来的k个指标。到底应该选择多少个主成分，在实际工作中，采用的主成分个数s的多少取决于它们是否能够反映原来变量85%以上的信息量，即当累积贡献率≥85%时, 主成分的个数就足够了。一些常见的问题中主成分为2到3个。 1. 数据的标准化 对样本数据矩阵Xk?n中的数据Xij进行标准化处理： 处理后的数据构成的矩阵记为x 2. 两个重要结论 x的协方差矩阵Cov(x)的特征根和单位特征向量与原来数据X的协方差矩阵Cov(X)的特征根和单位特征向量相同. 由X的原来数据所求得的相关系数矩阵Rk? k = 标准化后的协方差矩阵Cov(x) 3. 主成分的简化算法 （1）由X的原始数据求出相关系数矩阵Rk? k; （2）求R的特征根?1， ?2，…， ?k（从大到小排列）及一组相互正交的单位特征向量b1，b2，…，bk; （3）取?1， ?2，…， ?q，使得累积贡献率满足 则