数学建模因子分析课件.ppt

数学建模因子分析;第一部分 主成分分析 1、 主成分分析的基本原理 2、 主成分分析的数学模型 3、 主成分分析的步骤;主成分分析的基本原理; 主成分的概念由Karl Pearson在1901年提出的。他是考察多个变量间相关性一种多元统计方法 研究如何通过少数几个主成分(principal component)来解释多个变量间的内部结构。即从原始变量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。 主成分分析的目的：数据的压缩；数据的解释 常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释;对这两个相关变量所携带的信息(在统计上信息往往是指数据的变异)进行浓缩处理 假定只有两个变量x1和x2，从散点图可见两个变量存在相关关系，这意味着两个变量提供的信息有重叠;椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据的变化明显较大，而短轴方向变化则较小 如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量和原始变量间存在一定的数学换算关系，同时这两个新变量之间彼此不相关，而且长轴变量携带了大部分的数据变化信息，;多维变量的情形类似，只不过是一个高维椭球，无法直观地观察 每个变量都有一个坐标轴，所以有几个变量就有几主轴。首先把椭球的各个主轴都找出来，再用代表大多数数据信息的最长的几个轴作为新变量，这样，降维过程也就完成了;主成分分析的数学模型;;选择几个主成分？选择标准是什么？ 被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分 在统计上，主成分所代表的原始变量的信息用其方差来表示。因此，所选择的第一个主成分是所有主成分中的方差最大者，即Var(yi)最大 如果第一个主成分不足以代表原来的个变量，在考虑选择第二个主成分，依次类推 这些主成分互不相关，且方差递减;究竟选择几个主成分才合适呢？ 一般要求所选主成分的方差总和占全部方差的80%以上就可以了。当然，这只是一个大体标准，具体选择几个要看实际情况 如果原来的变量之间的相关程度高，降维的效果就会好一些，所选的主成分就???少一些，如果原来的变量之间本身就不怎么相关，降维的效果自然就不好 不相关的变量就只能自己代表自己了;主成分分析的步骤;对原来的p个指标进行标准化，以消除变量在水平和量纲上的影响 根据标准化后的数据矩阵求出相关系数矩阵 求出协方差矩阵的特征根和特征向量 确定主成分，并对各主成分所包含的信息给予适当的解释;【例】根据我国31个省市自治区2006年的6项主要经济指标数据，进行主成分分析，找出主成分并进行适当的解释;用SPSS进行主成分分析;;;;;SPSS的输出结果;SPSS的输出结果(选择主成分);“Initial Eigenvalues”(初始特征根) 实际上就是本例中的6个主轴的长度 特征根反映了主成分对原始变量的影响程度，表示引入该主成分后可以解释原始变量的信息 特征根又叫方差，某个特征根占总特征根的比例称为主成分方差贡献率 设特征根为?，则第i个主成分的方差贡献率为 比如，第一个主成分的特征根为3.963，占总特征根的的比例(方差贡献率)为66.052%，这表示第一个主成分解释了原始6个变量66.052%的信息，可见第一个主成分对原来的6个变量解释的已经很充分了;根据主成分贡献率 一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分 比如表3中前两个主成分的累计方差贡献率为95.57% 根据特特征根的大小 一般情况下，当特征根小于1时，就不再选作主成分了，因为该主成分的解释力度还不如直接用原始变量解的释力度大 比如表3中除前两个外，其他主成分的特征根都小于1。所以SPSS只选择了两个主成分 就本例而言，两个主成分就足以说明各地区的经济发展状况了;SPSS还提供了一个更为直观的图形工具来帮助选择主成分，即碎石图(Scree Plot) 从碎石图可以看到6个主轴长度变化的趋势 实践中，通常结合具体情况，选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表，该例中选择前两个主成分即可;怎样解释主成分？;根据主成分分析模型和因子载荷，可以得到两个主成分与原来6个变量之间的线性组合表达式如下 ;载荷图(Loading Plot)直观显示主成分对原始6变量的解释情况 图中横轴表示第一个主成分与原始变量间的相关系数；纵轴表示第二个主成分与原始变量之间的相关系数 每一个变量对应的主成分载荷就对应坐标系中的一个点，比如，人均GDP变量对应的点是(0.670，0.725) 第一个主成分很充分地解释了原始的6个变量(与每个原始变量都有较强的正相关关系)，第二个主成分则较好地