主成分分方法.pptVIP

第6章 主成分分析法 引言 主成分分析的基本原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n个样本，每个样本共有p个变量描述，这样就构成了一个n×p阶的数据矩阵： 主成分分析的基本原理 如何从这么多变量的数据中抓住事物的内在规律性呢？要解决这一问题，自然要在p维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。 主成分分析的基本原理 如果记原来的变量指标为x1，x2，…，xp，它们的综合指标——新变量指标为z1，z2，…，zm（m≤p)。则 主成分分析的基本原理 在上式中，系数lij由下列原则来决定： (1)zi与zj（i≠j；i，j=1，2，…，m)相互无关； (2)若z1=l11x1+l12x2+ … +l1pxp，，且使 Var(z1)最大，则称z1为第一主成分。z1是x1，x2，…，xp的一切线性组合中方差最大者； 若z2=l21x1+l22x2+…+l2pxp，，(l21，l22，…，l2p)垂直于(l11，l12，…，l1p)，且使Var(z2)最大，则称z2为第二主成分； (3) 类似地，可有第三、四、五…主成分，至多有p个。 主成分分析的基本原理 主成分具有如下几个性质： (1)主成分间互不相关，即对任意i和j，zi 和zj的 相关系数Corr(zi，zj)=0 i ? j (2)组合系数(li1，li2，…，lip)构成的向量为单位向量， li1+li2+…+lip=1 (3)各主成分的方差是依次递减的， 即 Var(z1)≥Var(z2)≥…≥Var(zp) 主成分分析的基本原理 (4)总方差不增不减， 即 Var(z1)+Var(z2)+ … +Var(zp) =Var(x1)+Var(x2)+ … +Var(xp) =p 这一性质说明，主成分是原变量的线性组合， 是对原变量信息的一种改组，主成分不增加总 信息量，也不减少总信息量。 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。 根据旋转变换的公式： 旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。 Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。 原始变量与主成分之间的相关系数 原始变量被主成分的提取率 前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。 如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为： 定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。 载荷矩阵 主成分分析的基本原理 在实际问题的分析中，常挑选前几个最大的主成分，这样既减少了变量的数目，又抓住了主要矛盾，简化了变量之间的关系。 从以上分析可以看出，找主成分就是确定原来变量xj（j=1，2，…，p)在诸主成分zi（i=1，2，…，m)上的载荷lij（i=1，2，…，m；j=1，2，…，p)。从数学上容易知道，它们分别是x1，x2，…，xp的相关矩阵的m个较大的特征值所对应的特征向量。 主成分分析的计算步骤 主成分分析的计算步骤 (4)求