SAS系统和数据分析因子分析参考.doc

因子分析 因子分析（Factor Analysis）是主成分分析的推广，它也是从研究相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。具体地说，就是要找出某个问题中可直接测量的、具有一定相关性的诸指标，如何受少数几个在专业中有意义，又不可直接测量到，且相对独立的因子支配的规律，从而可用诸指标的测定来间接确定诸因子的状态。 何为因子分析 因子分析的目的是用有限个不可观察的潜在变量来解释原变量间的相关性或协方差关系。在这里我们把不可观察的潜在变量称为公共因子（common factor）。在研究样品时，每个样品需要检测很多指标，假设测得个指标，但是这个指标可能受到()个共同因素的影响，再加上其他对这些指标有影响的因素。写成数学的形式就是： (36.1) 利用矩阵记号有： (36.2) 各个指标变量都受到的影响，因此称为公共因子，称为因子载荷矩阵，是单变量所特有的因子，称为的特殊因子（unique factor）。设，，…，分别是均值为0，方差为1的随机变量，即；特殊因子，，…，分别是均值为0，方差为，，…，的随机变量，即；各特殊因子之间及特殊因子与公共因子之间都是相互独立的，即及。是第个变量在第个公共因子上的负荷，从投影的角度看，就是在坐标轴上的投影。 主成分分析的目标是降维，而因子分析的目标是找出公共因素及特有的因素，即公共因子与特殊因子。在主成分分析中，残差通常是彼此相关的。在公因子分析中，特殊因子起到残差的作用，但被定义为彼此不相关且和公因子也不相关。而且每个公因子假定至少对两个变量有贡献，否则它将是一个特殊因子。在开始提取公因子时，为了简便还假定公因子彼此不相关且具有单位方差。在这种情况下，向量的协方差矩阵Σ可以表示为： (36.3) 这里D=diag()，diag表示对角矩阵。如果假定已将标准化，也就是说的每一个分量的均值都为0，方差都是1，即，那么： (36.4) 记，则有： (36.5) 反映了公共因子f对的影响，称为公共因子f对的“贡献”。实际反映了变量对公共因子f的依赖程度。 另一方面，还可以考虑指定的一个公共因子对各个变量的影响。实际上，对各个变量的影响可由中第列的元素来描述，那么： (36.6) 称为公共因子对的“贡献”。显然越大，对的影响就越大，成为衡量因子重要性的一个尺度。实际上： (36.7) 那么，矩阵的统计意义就非常清楚： 是和的相关系数 是对公共因子的依赖程度 是公共因子对的各个分量总的影响 下面我们来看怎样求解因子载荷矩阵。 因子载荷矩阵的求解 如果已知协方差矩阵和，可以很容易地求出。根据式(36.3)有： (36.8) 记，则是非负定矩阵。若记矩阵的p个特征值≥≥…≥ = … = = 0，且m个非零特征值所对应的特征向量分别为，，…，，则的谱分解式为： (36.9) 只要令： (36.10) 就可以求出因子载荷矩阵。 但在实际问题中，我们并不知道、，即不知道，已知的只是个样品，每个样品测得个指标，共有个数据，样品数据见表36.1。为了建立公因子模型，首先要估计因子载荷和特殊因子方差。常用的参数估计方法有以下三种：主成分法、主因子解法和极大似然法。 主成分法 主成分法求因子载荷矩阵的具体求法如下：首先从资料矩阵出发求出样品的协方差矩阵，记之为，其特征值为，相应的单位正交特征向量为，当最后个特征值较小时，则对进行谱分解可以近似为： (36.11) 其中，≥≥…≥0是协方差矩阵相应的前个较大特征值。先取，然后看是否接近对角阵。如果接近对角阵，说明公共因子只要取一个就行了，所有指标主要受到这一个公共因子的影响；如果不是近似对角阵，就取，然后看是否接近对角阵，如果接近对角阵，就取两个公共因子；否则，再取，…，直到满足“要求”为止。这里的“要求”要视具体情况而定，一般而言，就像主成分分析一样，直接取前个特征值和特征向量，使得它们的特征值之和占全部特征值之和的85％以上即可。此时，特殊因子方差。 主因子解法 主因子解法是主成分法的一种修正，它是从资料矩阵出发求出样品的相关矩阵，设，则。如果我们已知特殊因子方差的初始估计，也就是已知了先验公因子方差的估计为，则约相关阵为： (36.12) 计算的特征值和特征向量，取前个正特征值及相应特征向量为，则有近似分解式： (36.13) 其中，，令，则和为因子模型的一个解，这个解就称为主因子解。 上面的计算是我们假设已知特殊因子方差的初始估计，那么，特殊因子方差的初始估计值如何得到呢？由于在实际中特殊因子方差（或公因子方差）是未知的。以上得到的解是近似解。为了得到近似程度更好的解，常常采用迭代主因子法。即利用上面得到的作为特殊方差的初始估计，重复上述步骤，直到解稳