联立方程估计与模拟PPT.ppt

* 1．从协方差矩阵出发求解主成分 设?1是任意 p?1向量，求解主成份就是在约束条件 下，求 X 的线性函数 使其方差 达到最大，即达到最大，且 ，其中? 是随机变量向量X =(X1, X2, …, Xp)?的协方差矩阵。设?1 ≥ ?2 ≥ … ≥ ?p ≥ 0 为? 的特征值，e1 , e2 ,…, ep为? 矩阵各特征值对应的标准正交特征向量，则对于任意的ei 和 ej，有 （13.1.4） 且 （13.1.5） * 因此 （13.1.6） 当?1 = e1 时有 （13.1.7） 此时 达到最大值为?1。同理有 并且 （13.1.8） * 由上述推导得 （13.1.9） 可见Y1, Y2, …, Yp 即为原始变量的 p 个主成份。因此，主成分的求解转变为求 X1, X2, …, Xp 协方差矩阵? 的特征值和特征向量的问题。 * ２．主成份的性质 性质1 Y的协方差矩阵为对角阵?，即 （13.1.10） 性质2 设?=(?ij)p×p是随机变量向量 X 的协方差矩阵，可得 即 * 由此可见，主成分分析是把 p 个随机变量的总方差分解为 p 个不相关随机变量的方差之和?1 ＋ ?2 ＋…＋ ?P，则总方差中属于第 i 个主成分（被第 i 个主成分所解释）的比例为 （13.1.12） 称为第 i 个主成分的贡献度。定义 （13.1.13） 称为前 m 个主成分的累积贡献度，衡量了前 m 个主成份对原始变量的解释程度。 * 性质3　记第k个主成分 Yk 与原始变量 Xi 的相关系数为r(Yk，Xi)，称为因子载荷，或者因子负荷量，则有 （13.1.14） * 3．从相关矩阵出发求解主成分 在实际应用时，为了消除原始变量量纲的影响，通常将数据标准化。考虑下面的标准化变化，令 （13.1.15） 其中?i，?ii 分别表示随机变量 Xi 的期望与方差，则 * 原始变量的相关矩阵就是原始变量标准化后的协方差矩阵，因此，由相关矩阵求主成分的过程与由协方差矩阵求主成分的过程是一致的。如果仍然采用（λi ，ei）表示相关矩阵R对应的特征值和标准正交特征向量，根据式（13.1.9）有： （13.1.17） 由相关矩阵求得的主成分仍然满足性质1～3。性质3可以进一步表示为： （13.1.18） * 13.1.3 样本的主成分 1．样本统计量 在实际工作中，我们通常无法获得总体的协方差矩阵?和相关矩阵R。因此，需要采用样本数据来估计。设从均值向量为?，协方差矩阵为? 的 p 维总体中得到的 n 个样本，且样本数据矩阵为 （13.1.19） * 则样本协方差矩阵为： （13.1.20） 其中: （13.1.21） 样本相关矩阵为： （13.1.22） 样本协方差矩阵 S 是总体协方差矩阵? 的无偏估计量，样本相关矩阵 是总体相关矩阵 R 的估计量。 * 2．样本主成份及其性质 由于采用相关矩阵和协方差矩阵求解主成分的过程基本一致，因此本节仅介绍基于样本相关矩阵求解主成分的过程。设样本相关矩阵 的特征值为 ，且 与特征值相对应的标准正交特征向量为 ，根据