主成分分析法.pptVIP

4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。 5．用主成分分析筛选回归变量。回归变量的选择有着重要的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合，用主成分分析筛选变量，可以用较少的计算量来选择变量，获得选择最佳变量子集合的效果。 附、主成分分析与因子分析的区别 因子分析 主成分分析从原理上是寻找椭球的所有主轴。原先有几个变量，就有几个主成分。 而因子分析是事先确定要找几个成分，这里叫因子（factor）（比如两个），那就找两个。 这使得在数学模型上，因子分析和主成分分析有不少区别。而且因子分析的计算也复杂得多。根据因子分析模型的特点，它还多一道工序：因子旋转（factor rotation）；这个步骤可以使结果更好。 对于计算机，因子分析并不费事。 从输出的结果来看，因子分析也有因子载荷（factor loading）的概念，代表了因子和原先变量的相关系数。但是在因子分析公式中的因子载荷位置和主成分分析不同。 因子分析也给出了二维图；其解释和主成分分析的载荷图类似。 主成分分析与因子分析的公式上的区别 主成分分析 因子分析(mp) 因子得分 主成分载荷 旋转之后的 因子载荷 因子得分 系数中的值 对于学生成绩的数据，SPSS因子分析输出为 这个表说明六个变量和因子的关系。为简单记，我们用x1, x2, x3, x4, x5, x6来表示math（数学）， phys（物理），chem（化学），literat（语文），history（历史），english（英语）等变量。这样因子f1和f2与这些原变量之间的关系是（注意，和主成分分析不同，这里把成分（因子）写在方程的右边，把原变量写在左边；但相应的系数还是主成分和各个变量的线性相关系数，也称为因子载荷）： 这里，第一个因子主要和语文、历史、英语三科有很强的正相关；而第二个因子主要和数学、物理、化学三科有很强的正相关。 因此可以给第一个因子起名为“文科因子”，而给第二个因子起名为“理科因子”。 从这个例子可以看出，因子分析的结果比主成分分析解释性更强。 这些系数所形成的散点图（在SPSS中也称载荷图）为 可以直观看出每个因子代表了一类学科 计算因子得分 可以根据输出 算出每个学生的第一个因子和第二个因子的大小，即算出每个学生的因子得分f1和f2。 该输出说明第一和第二主因子为（习惯上用字母f来表示因子）可以按照如下公式计算，该函数称为因子得分（factor score）。 人们可以根据这两套因子得分对学生分别按照文科和理科排序。当然得到因子得分只是SPSS软件的一个选项。 因子分析和主成分分析的一些注意事项 ?可以看出，因子分析和主成分分析都依赖于原始变量，也只能反映原始变量的信息。所以原始变量的选择很重要。 另外，如果原始变量都本质上独立，那么降维就可能失败，这是因为很难把很多独立变量用少数综合的变量概括。数据越相关，降维效果就越好。 在得到分析的结果时，并不一定会都得到如我们例子那样清楚的结果。这与问题的性质，选取的原始变量以及数据的质量等都有关系 在用因子得分进行排序时要特别小心，特别是对于敏感问题。由于原始变量不同，因子的选取不同，排序可以很不一样。 * （3.5.6） 每个地区的综合评价值为：对各个主成分进行加权求和。权重为每个主成分方差的贡献率。 四、 主成分分析方法应用实例 （一）下面，我们根据表3.5.1给出的数据，对某农业生态经济系统做主成分分析。 表3.5.1 某农业生态经济系统各区域单元的有关数据 步骤如下： （1）将表3.5.1中的数据作标准差标准化处理，然后将它们代入公式（3.5.4）计算相关系数矩阵（表3.5.2）。 表3.5.2　相关系数矩阵 （2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（表3.5.3）。由表3.5.3可知，第1，第2，第3主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第1、第2、第3主成分z1，z2，z3即可。 表3.5.3　特征值及主成分贡献率 =4.661/8.9988 （3）对于特征值 分别 =4.661 0、=2.089 0、=1.0430，分别求出其特征向量e1，e2，e3，再用公式（3.5.5）计算各变量x1，x2，…，x9在主成分z1，z2，z3上的载荷（表3.5.4）。 表3.5.4 主成分载荷 上述计算过程,可以借助于SPSS或Matlab软件系统实现。 (1)从表3.5.4可以看出，第1主成分z1与x1，x5，x