第十四讲 多元相关.pptVIP

第十四讲 多元相关 一、主成分分析 * 一、主成分分析 二、因子分析 三、典型相关分析 方法。所研究的问题是：设有某个 维总体 主成分分析是一种将多个指标化为少数几个 指标以便揭示问题背后隐藏深层次原因的统计 每个样品都测得 个指标，而这 个指标往往互 有影响。能否将这 个指标综合成很少几个综合 性指标(或特征)，要求这几个综合既能尽可能充 分反映原来 个指标的信息，且彼此间互不相 关。 （一） 从 个指标求主元的方法 设 为 维随机向量， 那么如何将这 个指 标综合成很少的几个指标 且要尽可能反映原来指标的作用，又彼此不相 关呢？一个自然的方法是寻找指标 线性组合(线性变换)。我们先来考虑第一个总 合指标 ， 令 其中 是待定的常向量。现在的任务是选取适 当 的使得 最大限度地反映原来指标的作用， 这就相当于要求 要有尽可能大的方差，即选 取 使得 尽可能地大。 说明 是 的无界函数。 然而不能通过加大向量 的长度使 的方差变 因为对任意的常数 ，有 因此如果对 不加 大， 即只要 变长 倍，相应的方差就扩大 倍，也 限制，问题就会变得毫无意义。 一个自然的限 制是令 即要求 是单位向量。 从而问题变为：在 的条件下，求使 达到最大的 。 定理19.1 设总体 的均值和协方差阵分别为 是总体 的 个指标，令 其中 ，则使得 的方差 和 达到最大的 正好是矩阵 的最大特征根 所 对应的特征向量。 证明 用Lagrange乘数法来证明。令 则有 令 可得 这样就有 由于 根据克莱姆法则知，上述齐次线性 方程有非零解的充要条件是系数行列式为零， 即 这说明 是矩阵 的特征根，且由 可知 是对应于 特征根 的特征向量。 又由 可知欲使 的方差 最大，只要取 为的最大特征根即可，这样 就是对应的单 位特征向量。 由定理19.1可知，第一个综合指标为 其中 是的对应于矩阵 最大特征值 的单位 特征向量，称 为第一主成分(或第一主元)。 若协方差矩阵 即是非负定的，由矩阵论 知它有 个非负的特征根，不妨设为 且 是对应的 个特征向量。 自然 应为 的第二大特征根 所对应的单位 特征向量，并称 为第二主成分。 类似地，第二个综合指标可以取为 重复以上过程，可得 的第 个综合指标 称为 的第 个主成分。 总之，我们可得到 个主成分 且 其中 是协方差阵 的非零特征根并 有 而 是 对应的单位特征向量。 若用矩阵可表示如下 其中 且 即矩阵 是行正交矩阵。 因此，所谓的主成分分析也可以看作是对 原来的 个指标 进行了一次正交变 换 而得到 个互不相关的综合指标，即主 成分 这样关于寻找总体 的综合指标——主成分 的问题就转化为求 的协方差矩阵 的特征值 和标准正交特征向量的问题，归纳为如下几个 步骤： 1. 求 的协方差阵 的特征值，记为 2. 求 对应的单位特征向量 且要求正交。 3. 获得第 个主成分 注：若 ，则可得到 的 个主成分；当 有重特征值时，主成分不唯一。实际应用时 到底应取多少个主成分作为分析问题的综合指 标的问题留在后面讨论。 在实际应用时，经常会遇到 个指标的量 纲不尽相同或取值彼此差异很大的问题，处理 的一般方法是先将各指标进行标准化，即 其中 的协方差阵为 但应注意这时 即为相关矩阵 其中 因此求 的主成分就是求 的特征值和相应 的单位特征向量，然后可得 的分量的线性 组合，即为所求的主成分。 协方差阵 和相关矩阵 往往是未知的。这时 在实际问题中，所研究的总体 的均值 需对总体进行抽样，设样本为 取 和 的估计分别为 ——样本均值 （二） 样本主成分 ——样本相关矩阵 设 的特征值为 对应的单位特征向量为 则称 为 的第 个样本主成分。 ——样本协方差阵 同样