主成分分析与因子分析讲义资料.pptVIP

三、因子载荷矩阵中的几个统计特征 1、因子载荷aij的统计意义 因子载荷 是第i个变量与第j个公共因子的相关系数 模型为 因子载荷构成的k×m矩阵称为“因子矩阵”（factor matrix）或“因子模式”（factor pattern），因为它反映了因子与变量关系中因子的性质。“因子结构”（factor structure）是指因素与变量间的相关关系，可以证明，在正交模型中，因子模式等于因素结构，因子负荷就是变量与因素间的相关系数。因此在正交模型中不加区别地统称为“因子载荷”。 2、变量共同度（communality）的统计意义 定义：变量 的共同度是因子载荷矩阵的第i行的元素的平方和。记为 统计意义： 两边求方差 所有的公共因子和特殊因子对变量 的贡献为1。如果 非常靠近1， 非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。 3、公共因子 方差贡献(Contributions)的统计意义 因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量 的相对重要性。 四、 因子旋转 　　建立了因子分析的目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。 　求初始解是按照因子解释变量方差的多少顺序提取因子的，因此，绝大多数变量在第一个因子上肯定都有显著的负荷，其后的因子解释方差比例逐渐递减。这时的因素负荷矩阵中大多数因子都和许多变量相关，尤其是靠前的第一因素，负载了过多的变量，很不便于解释。这时就需要借助“因子旋转”改变因子轴的位置，重新分配各因子所解释的方差比例，从而得到易于解释的“简单结构”。根据矩阵代数的知识，因子旋转实际上是对因素解进行的一个变换（正交旋转是标准正交变换），得到的模型对数据的拟合程度不发生改变，同时也不改变每个变量的共同度。 （一）为什么要旋转因子 旋转前与旋转后的因子载荷图 旋转前后的因子载荷比较 这里，第一个因子主要和语文、历史、英语三科有很强的正相关；而第二个因子主要和数学、物理、化学三科有很强的正相关。因此可以给第一个因子起名为“理科因子”，而给第二个因子起名为“文科因子”。 变换后因子的共同度 设?正交矩阵，做正交变换 变换后因子的共同度没有发生变化！ （二）正交旋转（orthogonal rotation） 主成分分析和因子分析 成绩数据（student.sav） 100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 从本例可能提出的问题 目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题。 主成分分析(Principal Components Analysis) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 例中的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。由于6维空间无法直接观察，因此，我从2维空间开始解释主成分分析的原理。 主成分分析原理 当散点呈椭圆状分布时，代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有道理。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?