主成分要点.ppt

第三主成分： 在第一主成分的表达式中第一、二、三项指标的系数较大，这三个指标起主要作用，我们可以把第一王成分看成是由国内生产总值、固定资产投资和居民消费水平所该划的反映经济发展状况的综合指标； 在第二主成分中，第四、五、六、七项指标的影响大，且第六、七项指标的影响尤其大，可将之看成是反映物价指数、职工工资和货物周转量的综合指标； 在第三主成分中，第八项指数影响最大，远超过其它指标的影响，可单独看成是工业总产值的影响。 5 附注 1．从∑和从R出发计算主成分一般是不同的，当变量取值范围彼此相差很大或度量单位不同时，应该考虑标准化，以便使计算结果有合理的解释，避免出现误解。如果没有上述度量单位和数量级的差异，从∑和从R出发计算的结果对主成分的解释或计算贡献时，在一般情况下是不会发生矛盾的。 2．主成分是原始变量的线性组合，它不能简单地解释为单变量的属性作用，因而不能直接说明单个原始变量属性对主成分的作用，而应该同时看一些起主要作用的原始变量的综合作用，依此给主成分一个合理解释。 3．从主成分的数学推导，不难看出主成分仅依赖于X1，X2，…，Xp的协差阵(或相关系数阵)并不要求分布 * 主 成 分 分 析 一、什么是主成分分析及基本思想 1 、什么是主成分分析 主成分概念首先由Karl parson在1901年引进，不过当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机向量： 在实际问题中，研究多指标(变量)问题是经常遇到的，然而在多数情况下，不同指标之间是有一定相关性。由于指标较多再加上指标之间有一定的相关性，势必增加了分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。这种将多个 指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。也是数学上处理降准的一种方法，例如，某人要做一件上衣要测量很多尺寸，如身长、袖长、胸围、腰围、肩宽、肩厚等十几项指标，但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多 ？而是从多种指标中综合成几个少数的综合指标，做为分类的型号，利用主成分分析将十几项指标综合成3项指标，一项是反映长度的指标，一项是反映胖瘦的指标，一项是反映特体的指标。在商业经济中用主成分分析可将复杂的一些数据综合成几个商业指数形式，如物价指数、生活费用指数，商业活动指数等等。 主成分分析除了可以单独用来处理上面所讨论的这一类问题外，还可以与其它方法结合起来使用，例如与回归分析结合起来就是主成分回归，它可以克服回归问题中由于自变量之间的高度相关而产生的分析困难。 2 基本思想 主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一组新的相互无关的综合指标来代替原来指标。通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应该如何去选取呢?如果将选取的第一个线性组合即第一个综合指标记F1， 自然希望F1尽可能多的反映原来指标的信息，这里的“信息”用什么来表达?最经典的方法就是用F1的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信息，再考虑选取 F 2 即选第二个线性组合，为了有效地反映原来信息， F1已有的信息就不需要再出现在F2中，用数学 语言表达就是要求Cov(F1，F2)＝0，称F2为第二主成分，依此类推可以造出第三，四，…，第p个主成分。不难想像这些主成分之间不仅不相关，而且它们的方差依次递减。因此在实际工作中，就挑选前几个最大主成分，虽然这样做会损失一部分信息，但是由于它使我们抓住了主要矛盾，并从原始数据中进一步提取了某些新的信息，因而在某些实际问题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的分析和处理。 2、主成分分析的数学模型及几何解释 （1 ）、 数学模型 设有 n 个样品，每个样品观测p项指标(变量), X1, X2，…，Xp，得到原始数据资料阵： 其中 用数据矩阵X的p个向量(即p个指标向量)X1，…，Xp作线性组合(即综合指标向量)为： 简写成 (注意：Xi是n维向量，所以Fi也是 n 维向量) 上述方程组要求： 的一切线性组合中方差最大的。 如何求满足上述要求的方程组的系数aij呢?下一节将会看到每个方程式中的系数向量 不是别的而恰好是