主成分分析的原理与spss实现.ppt

* * 一、主成分分析概述 假定你是一个公司的财务经理，掌握了公司的所有数据，这包括众多的变量，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上级或有关方面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 引子 当然不能。汇报什么？ 发现在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 需要把这种有很多变量的数据进行高度概括，用少数几个指标简单明了地把情况说清楚。 主成分分析（ Principal Components Analysis ）和因子分析（Factor Analysis）就是把变量维数降低以便于描述、理解和分析的方法。 主成分分析也称为主分量分析，是一种通过降维来简化数据结构的方法：如何把多个变量化为少数几个综合变量（综合指标） ，而这几个综合变量可以反映原来多个变量的大部分信息，所含的信息又互不重叠，即它们之间要相互独立，互不相关。 这些综合变量就叫因子或主成分，它是不可观测的，即它不是具体的变量（这与聚类分析不同），只是几个指标的综合。 在引入主成分分析之前，先看下面的例子。 什么是主成分分析法？ 成绩数据 53个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 从本例可能提出的问题 能不能把这个数据表中的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？ 事实上，以上的三个问题在地理学研究中，也会经常遇到。它所涉及的问题可以推广到对企业、对学校、对区域进行分析、评价、排序和分类等。 比如对n个区域进行综合评价，可选的描述区域特征的指标很多，而这些指标往往存在一定的相关性（既不完全独立，又不完全相关），这就给研究带来很大不便。若选指标太多，会增加分析问题的难度与复杂性，选指标太少，有可能会漏掉对区域影响较大的指标，影响结果的可靠性。 这就需要我们在相关分析的基础上，采用主成分分析法找到几个新的相互独立的综合指标，达到既减少指标数量、又能区分区域间差异的目的。 二、主成分分析的基本原理 （一）主成分分析的几何解释 例中数据点是六维的；即每个观测值是6维空间中的一个点。希望把6维空间用低维空间表示。 先假定只有二维，即只有两个变量，语文成绩（x1）和数学成绩（x2），分别由横坐标和纵坐标所代表； 每个学生都是二维坐标系中的一个点。 空间的点 如果这些数据形成一个椭圆形状的点阵（这在二维正态的假定下是可能的）该椭圆有一个长轴和一个短轴。在短轴方向上数据变化很少； 在极端的情况，短轴如退化成一点，长轴的方向可以完全解释这些点的变化，由二维到一维的降维就自然完成了。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 假定语文成绩 （X1） 和数学成绩 （X2） 的相关系数ρ= 0.6 。 设 X1 和 X2 分别为标准化后的分数，右图为其散点图。 那么随机向量 的方差—协方差矩阵为 可以看出，在变量标准化的情况下的方差—协方差矩阵与其相关矩阵相等。 由求矩阵特征值和特征向量的方法：令 可以求出： 对应的特征向量分别为： 显然，这两个特征向量是相互正交的单位向量。而且它们与原来的坐标轴 X1 和 X2 的夹角都分别等于45o 。如果将坐标轴 X1 和 X2 旋转45o ，那么点在新坐标系中的坐标（Y1,Y2）与原坐标（X1,X2）有如下的关系： Y1和Y2均是X1 和 X2 的线性组合 系数代表什么？ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 在新坐标系中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的方差较小） 。 事实上，随机变量 Y1和 Y2的方差分别为： 可以看出，最大变动方向是由特征向量所决定的，而特征值则刻画了对应的方差。这只是我们举的一个例子，对于一般情况，数学上也能证明。 在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了