第12章_主成分分析和因子分析讲解材料.ppt

12.2.1 因子分析的意义和数学模型 12.2 因子分析 * 由Charles Spearman于1904年首次提出的 与主成分分析类似，它们都是要找出少数几个新的变量来代替原始变量 不同之处：主成分分析中的主成分个数与原始变量个数是一样的，即有几个变量就有几个主成分，只不过最后我们确定了少数几个主成分而已。而因子分析则需要事先确定要找几个成分，也称为因子(factor)，然后将原始变量综合为少数的几个因子，以再现原始变量与因子之间的关系，一般来说，因子的个数会远远少于原始变量的个数 什么是因子分析？ (factor analysis) * 因子分析可以看作是主成分分析的推广和扩展，但它对问题的研究更深入、更细致一些。实际上，主成分分析可以看作是因子分析的一个特例 通过对变量之间关系的研究，找出能综合原始变量的少数几个因子，使得少数因子能够反映原始变量的绝大部分信息，然后根据相关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低 属于多元统计中处理降维的一种统计方法，其目的就是要减少变量的个数，用少数因子代表多个原始变量 什么是因子分析？ (factor analysis) * 因变量和因子个数的不一致，使得不仅在数学模型上，而且在实际求解过程中，因子分析和主成分分析都有着一定的区别，计算上因子分析更为复杂 因子分析可能存在的一个优点是：在对主成分和原始变量之间的关系进行描述时，如果主成分的直观意义比较模糊不易解释，主成分分析没有更好的改进方法；因子分析则额外提供了“因子旋转(factor rotation)”这样一个步骤，可以使分析结果尽可能达到易于解释且更为合理的目的 因子分析的数学模型 * 原始的p个变量表达为k个因子的线性组合变量 设p个原始变量为 ，要寻找的k个因子(kp)为 ，主成分和原始变量之间的关系表示为 因子分析的数学模型 因子分析的数学模型 系数aij为第个i变量与第k个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。?为特殊因子，代表公因子以外的因素影响 * 共同度量(Communality) 因子的方差贡献率 因子分析的数学模型(共同度量Communality和公因子的方差贡献率 ) 变量xi的信息能够被k个公因子解释的程度，用 k个公因子对第i个变量xi的方差贡献率表示 第j个公因子对变量xi的提供的方差总和，反映第j个公因子的相对重要程度 12.2.2 因子分析的步骤 12.2 因子分析 * 因子分析要求样本的个数要足够多 一般要求样本的个数至少是变量的5倍以上。同时，样本总数据量理论要求应该在100以上 用于因子分析的变量必须是相关的 如果原始变量都是独立的，意味着每个变量的作用都是不可替代的，则无法降维 检验方法 计算各变量之间的相关矩阵，观察各相关系数。若相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析 使用Kaiser-Meyer-Olkin检验(简称KMO检验)和 Bartlett球度检验(Bartlett’s test of sphericity)来判断(SPSS将两种检验统称为“KMO and Bartlett’s test of sphericity”) 因子分析的步骤(数据检验) * Bartlett球度检验 以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵(对角线元素不为0，非对角线元素均为0)。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析 KMO检验 用于检验变量间的偏相关性，KMO统计量的取值在0～1之间 如果统计量取值越接近1，变量间的偏相关性越强，因子分析的效果就越好 KMO统计量在0.7以上时，因子分析效果较好；KMO统计量在0.5以下时，因子分析效果很差 因子分析的步骤(数据检验) * Principal components(主成分法)：多数情况下可以使用该方法(这也是SPSS的默认选项)。通过主成分分析的思想提取公因子，它假设变量是因子的线性组合 Unweight Least Square(不加权最小平方法)：该方法使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Generalized Least Square(加权最小平方法)：用变量值进行加权，该方法也是使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Maximum Likelihood(最大似然法)：该方法不要求数据服从正态分布，在样本量较大时使用较好 Principal Axis Factoring(主轴因子法)：该方法从