第4章_主成分分析.pptVIP

主成分分析 南通大学理学院 引 言 实际问题中，为了尽可能完整的获得相关信息，往往要考虑众多的变量，这虽然避免了主要信息的遗漏，但也存在一定的不足： 变量太多会增加计算的复杂性 变量太多给分析问题和解释问题带来困难 变量提供的信息在一定程度上会有所重叠 主成分分析：在不致损失原变量太多信息的条件下，尽可能降低原变量的维数。即用为数较少的互不相关的新变量反映原变量所提供的绝大部分信息。 总体主成分的定义 设 为某实际问题所涉及的 个随机变量。记随机向量 ，其协方差矩阵为 它是一个 阶非负定矩阵。设 为 维常数向量，考虑如下线性组合： 总体主成分 易知： 我们希望用 代替原来 个变量 ，这就要求 尽可能地反映原来 个变量的信息。这里用 方差来度量。即要求 达到最大。 对任意常数 ，若取 则 。 总体主成分 因此，必须对 加以限制，否则 无界。最方便的限制是要求 具有单位长度，即我们在约束条件 之下，求 使 达到最大，因此 所确定的随机变量 称为 的第一主成分。 总体主成分 如果第一主成分 还不足以反映原变量的信息，进一步求 。 在约束条件 之下 求 使 方差达到最大。 第二主成分： …… 依次类推得第k主成分 总体主成分的求法 设 是 的协方差矩阵， 的特征值及相应的正交单位化特征向量分别为 及 ，则 的第 个主成分为 其中 。易见： 事实上，令 ，则 为一正交矩阵，且 总体主成分的求法 设 为X的第一主成分，其中 .令 则 当 时，等号成立。这时 总体主成分的求法 在约束条件 下，当 时， 达到最大，且 设 为X的第二主成分，则有 即有 且 总体主成分的求法 令 则有 从而 并且当 ，即 时， 。所以当 时，满足 ， 且使 达到最大。 总体主成分的性质 主成分的协方差矩阵及总方差 记 为主成分向量，则 ，其中 ，且 由此得主成分的方差为 总体主成分的性质 第 个主成分 的贡献率： 前 个主成分的累计贡献率： 例4.1 设随机变量 的协方差矩阵为 求 的各主成分。 解：易求得 的特征值及相应的正交单位化特征向量 分别为 例4.1 因此 的主成分为 如果我们只取第一主成分，则贡献率为 若取前两个主成分，则累计贡献率为 例4.1 进一步可求得前两个主成分与各原始变量的相关系数 同理，可求得 即 与 ， 高度相关而与 不相关； 与 以概率1呈完全线性关系。 data examp4_1 (type=cov); _type_=cov; input _name_ $ x1-x3; cards; x1 1 -2 0 x2 -2 5 0 x3 0 0 2 ; run; proc princomp data=exa