07第6章因子分析.doc

第6章　因子分析 本章提要 在第一章中我们已经知道，在由p个变量x1, x2, … , xp组成的空间内，每个样品依其p个变量的测定值为空间内的一个点(或矢量)，所有样本点构成空间的一个点群(簇)，第二章中正是根据各样本点之间的相似性进行样本的分类。但在许多情况下，样本点的划分可能主要依赖于少数几个 6.1 主成分分析 主成分分析(principal component analysis)是将多个指标约简为少数指标的一种统计方法。设有n个样品，每个样品不则得p个指标。如何从p个指标中找出很少几个综合性的指标，并能尽可能地反映原指标的变化性，称为主成分。 1. 主成分分析方法 设是p维随机向量，，。现求x的线性函数 　　　　　　　　　　　(6.1) 并使得新变量y1的方差 　　　　　　(6.2) 尽可能地大。为待定系数向量。由于对于任何常数c，有 　　 因此对a1不加限制就没有意义了，所以通常要求。在实际问题中，用样本协方差阵S估计随机变量的协方差阵V。不妨设各变量的样本均值，否则可用代替，即进行变量中心化，则有 　　　　　　　 于是问题归结为在条件下求的极值问题。利用拉格朗日乘数法 　　 其中??为拉格朗日乘数，I为单位矩阵。令导数为零得 　　　　　　　　　　　　　　　(6.3) 这是求解系数a1的线性方程组，其有非零解的充要条件是 　　 即??是矩阵S的特征值，a1为对应于??的特征向量(规一到长度为1)。 　　改写(6.3)式为 　　 上式前乘a1’得 　　 由(6.2)可见??恰好是新的综合指标y1的方差，为使其方差最大，只要取??为S的最大特征值。 在确定了第一主成分后，再来确定第二主成分，它也是x的线性函数 　　　　　　　　　　　(6.4) 同样它必须满足标准化条件，与第一主成分不相关，使方差贡献尽可能地大。y2与y1不相关即有 　　　 因，所以必须有。同样应用拉格朗日乘数法 　　 其中???和? 为拉格朗日乘数。令导数为零，得 　　　　　　　　(6.5) 上式前乘并注意到条件和，有 　　　　　　　　　(6.6) 前面(4.3)式前乘可得 　　　　　　　　(6.7) 比较(6.6)和(6.7)得? =0，于是(6.5)式成为 　　　　　　　(6.8) 这与(4.3)式具有同样的形式，可知?? 应为矩阵S的次最大特征值，a2为对应于??的特征向量。类似地可得到第3主因子等。 总结前面的推导，我们得出结论：变量的第j个主成分yj是x的线性函数 　　，　　(6.9) 其中aj 是对应于样本协方差矩阵S的第j个最大特征值? j 的特征向量(规一到长度为1)，主成分yj的方差恰为。 在理论上，为正定阵，具有p个正特征值，其和为矩阵S的迹，亦即系统的总方差， 因此，第j个主成分的方差贡献率为，而前m个主成分的方差贡献率为 　　 一般只计算前m个主成分，使其方差贡献率达到85%以上。以后的成分的方差贡献已较小，可略去。 　　(6.9)式也可表示为 　　 　　 即各主成分的系数构成A’的各行向量。若我们取q=p，也就是说把所有主成分都表示出来，或者更严格地说，是把所有主成分和非主成分都表示出来，因为事实上我们是把重要的成分才叫主成分的，则A’为p×p矩阵，又由于其为正交阵，A’= A-1，可得 　　 各主成分的系数构成A的各列向量。 　　主成分分析的Matlab函数见文字框6.1。　　 　　2. 主成分的几何意义 主成分分析的几何实质是一种坐标变换。在原来p维变量空间中，n个样品构成该p维空间的点群。点群内各点的差异可能主要反映在沿某一个或某几个正交的几个方向上，p=2时如图6.1。第一主成分即是最能反映各点差异性的方向，以后渐次类推。 　　3. 主成分得分 在确定了q (q p)个主成分以后，每个样品，例如第i个样品的p个测试值代入的各主成分，例如第j个主成分的值yij，称之为i个样品在第j个主因子上的得分(scores)。由(6.9)得 　　 表示成矩阵的形式即有 　　　　　　　　　　　　　　　(6.10) 称为主成分得分矩阵。为主成分解矩阵，其中各列向量对应于各主成分的系数向量，亦即S阵的前m个特征向量。 　　 　　4. 相关矩阵的主成分分析 　　前面我们是从观测的样本协方差阵S出发进行主成分分析的。变量之间的协方差与变量的量纲有关，如果改变某些变量的量纲就会得到不同的S，因而得到不同的主因子解。因此需要对变量进行归一化处理。若我们采用第1章中介绍的变量标准化进行变量的归一化，即变换 　　 则标准化变量的协方差矩阵即为相关矩阵R，也就是说我们可以从初始变量的样本相关R出发进行主成分分析。 如果主成分是从相关矩阵R提取的，则其特征值之和将为，第j个主成分的方差贡献为?i /p。 5. 与主成分分析有关的Matlab函数 表