第12章-主成分分析和因子分析.ppt

结 束 * * * As a result of this class, you will be able to ... * * * * * * * * * * * * * * As a result of this class, you will be able to ... * 12.2.1 因子分析的意义和数学模型 12.2 因子分析 * 由Charles Spearman于1904年首次提出的 与主成分分析类似，它们都是要找出少数几个新的变量来代替原始变量 不同之处：主成分分析中的主成分个数与原始变量个数是一样的，即有几个变量就有几个主成分，只不过最后我们确定了少数几个主成分而已。而因子分析则需要事先确定要找几个成分，也称为因子(factor)，然后将原始变量综合为少数的几个因子，以再现原始变量与因子之间的关系，一般来说，因子的个数会远远少于原始变量的个数 什么是因子分析？ (factor analysis) * 因子分析可以看作是主成分分析的推广和扩展，但它对问题的研究更深入、更细致一些。实际上，主成分分析可以看作是因子分析的一个特例 通过对变量之间关系的研究，找出能综合原始变量的少数几个因子，使得少数因子能够反映原始变量的绝大部分信息，然后根据相关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低 属于多元统计中处理降维的一种统计方法，其目的就是要减少变量的个数，用少数因子代表多个原始变量 什么是因子分析？ (factor analysis) * 因变量和因子个数的不一致，使得不仅在数学模型上，而且在实际求解过程中，因子分析和主成分分析都有着一定的区别，计算上因子分析更为复杂 因子分析可能存在的一个优点是：在对主成分和原始变量之间的关系进行描述时，如果主成分的直观意义比较模糊不易解释，主成分分析没有更好的改进方法；因子分析则额外提供了“因子旋转(factor rotation)”这样一个步骤，可以使分析结果尽可能达到易于解释且更为合理的目的 因子分析的数学模型 * 原始的p个变量表达为k个因子的线性组合变量 设p个原始变量为 ，要寻找的k个因子(kp)为 ，主成分和原始变量之间的关系表示为 因子分析的数学模型 因子分析的数学模型 系数aij为第个i变量与第k个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。?为特殊因子，代表公因子以外的因素影响 * 共同度量(Communality) 因子的方差贡献率 因子分析的数学模型(共同度量Communality和公因子的方差贡献率 ) 变量xi的信息能够被k个公因子解释的程度，用 k个公因子对第i个变量xi的方差贡献率表示 第j个公因子对变量xi的提供的方差总和，反映第j个公因子的相对重要程度 12.2.2 因子分析的步骤 12.2 因子分析 * 因子分析要求样本的个数要足够多 一般要求样本的个数至少是变量的5倍以上。同时，样本总数据量理论要求应该在100以上 用于因子分析的变量必须是相关的 如果原始变量都是独立的，意味着每个变量的作用都是不可替代的，则无法降维 检验方法 计算各变量之间的相关矩阵，观察各相关系数。若相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析 使用Kaiser-Meyer-Olkin检验(简称KMO检验)和 Bartlett球度检验(Bartlett’s test of sphericity)来判断(SPSS将两种检验统称为“KMO and Bartlett’s test of sphericity”) 因子分析的步骤(数据检验) * Bartlett球度检验 以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵(对角线元素不为0，非对角线元素均为0)。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析 KMO检验 用于检验变量间的偏相关性，KMO统计量的取值在0～1之间 如果统计量取值越接近1，变量间的偏相关性越强，因子分析的效果就越好 KMO统计量在0.7以上时，因子分析效果较好；KMO统计量在0.5以下时，因子分析效果很差 因子分析的步骤(数据检验) * Principal components(主成分法)：多数情况下可以使用该方法(这也是SPSS的默认选项)。通过主成分分析的思想提取公因子，它假设变量是因子的线性组合 Unweight Least Square(不加权最小平方法)：该方法使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Generalized Least Sq