主成分分析与因子分析.ppt

2021/10/30 * 主成分分析与因子分析的公式上的区别 主成分分析 因子分析(mp) 因子得分 2021/10/30 * 三、因子载荷矩阵中的几个统计特征 1、因子载荷aij的统计意义 因子载荷 是第i个变量与第j个公共因子的相关系数 模型为 因子载荷构成的k×m矩阵称为“因子矩阵”（factor matrix）或“因子模式”（factor pattern）,因为它反映了因子与变量关系中因子的性质。“因子结构”（factor structure）是指因素与变量间的相关关系，可以证明，在正交模型中，因子模式等于因素结构，因子负荷就是变量与因素间的相关系数。因此在正交模型中不加区别地统称为“因子载荷”。 2021/10/30 * 2、变量共同度（communality）的统计意义 定义:变量 的共同度是因子载荷矩阵的第i行的元素的平方和。记为 统计意义: 两边求方差 所有的公共因子和特殊因子对变量 的贡献为1。如果 非常靠近1, 非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。 2021/10/30 * 3、公共因子 方差贡献(Contributions)的统计意义 因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量 的相对重要性。 2021/10/30 * 四、 因子旋转 　　建立了因子分析的目的不仅仅要找出公共因子以及对变量进行分组,更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。 　求初始解是按照因子解释变量方差的多少顺序提取因子的，因此，绝大多数变量在第一个因子上肯定都有显著的负荷，其后的因子解释方差比例逐渐递减。这时的因素负荷矩阵中大多数因子都和许多变量相关，尤其是靠前的第一因素，负载了过多的变量，很不便于解释。这时就需要借助“因子旋转”改变因子轴的位置，重新分配各因子所解释的方差比例，从而得到易于解释的“简单结构”。根据矩阵代数的知识，因子旋转实际上是对因素解进行的一个变换（正交旋转是标准正交变换），得到的模型对数据的拟合程度不发生改变，同时也不改变每个变量的共同度。 （一）为什么要旋转因子 2021/10/30 * 旋转前与旋转后的因子载荷图 2021/10/30 * 旋转前后的因子载荷比较 这里,第一个因子主要和语文、历史、英语三科有很强的正相关;而第二个因子主要和数学、物理、化学三科有很强的正相关。因此可以给第一个因子起名为“理科因子”，而给第二个因子起名为“文科因子”。 2021/10/30 * 变换后因子的共同度 设?正交矩阵,做正交变换 变换后因子的共同度没有发生变化! （二）正交旋转（orthogonal rotation） 2021/10/30 * 变换后因子贡献 设?正交矩阵,做正交变换 变换后因子的贡献发生了变化! 2021/10/30 * 1、方差最大法（Varimax） 方差最大法从简化因子载荷矩阵的每一列出发,使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于?1，另一部分趋于0。此法便于解释因子，因此最常用。 2021/10/30 * 2、四次方最大旋转（Quartimax） 四次方最大旋转是从简化载荷矩阵的行出发,通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。 四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。 2021/10/30 * 3、等量最大法（Equamax） 等量最大法把四次方最大法和方差最大法结合起来求Q和V的加权平均最大。 权数?等于m/2,因子数有关。 2021/10/30 * （三）斜交旋转（oblique rotation） 　如果因子间存在相关（斜交模型）,理论上应考虑斜交旋转以更好地形成简单结构和解释因子。由于没有因子正交条件的限制，斜交旋转实际上就是尽可能将因素轴调整到各组变量附近或者更有利于解释因子的位置。 f1 f2 f’1 f’2 x1 x2 x3 x4 x5 x6 2021/10/30 * 五、因子得分 （一）因子得分的概念 前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些