数学建模R-主成分分析.pptVIP

主成分分析 基本思想 实际问题中往往涉及众多有关变量，虽然每个变量都 提供了一定的信息，但其重要性有所不同，且众多变 量间有一定的相关关系。我们希望通过这种相关性对 这些变量加以改造，用为数较少的新变量反映原变量 提供的大部分信息，通过对少数新变量的分析简化原 问题。 主成分分析便是在这种降维的思想下产生的处理高维 数据的统计方法。 基本方法 通过构造原变量的适当线性组合，产生一列互 不相关的新变量，从中选出少数几个新变量并 使它们含有尽可能多的原变量带有的信息，从 而使用少数几个新变量代替原变量分析原问题。 变量中所含“信息”的大小通常用该变量的方差 或样本方差来度量。 如常数a，Var(a)=0，我们通过a只能知道a这个常 数，其所含信息少。 总体主成分 1.主成分的定义 设 为实际问题涉及的p个随机变量构 成的向量，记X的均值为 ，协方差阵为 ， 考虑线性组合 则 希望用 代替原来p个变量，要求 尽可能反映原p个变 量的信息，即Var( ) 达最大，同时防止 Var( )无界， 限制 具有单位长度。 求 使其满足 由此所确定的 称为 的第一主成分。 如果第一主成分 不足以反映原变量的信息，考虑 采用 。 中已有的信息不必要包含在 中，即要 求 与 不相关。 求 使其满足 由此所确定的 称为 的第二主成 分。 一般的，在约束 下，求 使 达到最大，由 所确定的 称为 的第i主成分。 2.总体主成分的求法 采用拉格朗日乘子法求第一主成分，令 故求解上述方程组，等价于求 的特征值和特征向量。 一般的，求 的第i主成分可通过求其协方差阵 的第i大特征值对应的单位特征向量得到。 定理1：设 是p维随机向量 的协方 差矩阵， 的特征值及相应的单位正交化特征向量分 别为 及 ，则X的第i个主成分为 注：各主成分的方差等于相应的特征值。 定理2：设 (i=1,2,…,p)为X的p个主成分，则 主成分 与原始变量 的相关系数为 并把主成分 与原始变量 的相关系数称为因子负荷 量（因子载荷量）。 定义：称 为第k个主成分 的贡献率，称 为前m个主成分 的累积贡献率。 注：累积贡献率表明了前m个主成分提取了 中的总信息量的份额。 3.确定主成分的个数 主成分分析的目的之一是简化数据结构，用尽可能少 的主成分来代替原来的p个变量，这要求m个主成分所 反映的信息与原来p个变量提供的信息差不多，并且m 个主成分又能对数据所具有的意义进行解释。 确定主成分个数的方法： （1）选取mp，使前m个主成分的累积贡献率达到一 定的比例（如80%-90%）； （2）绘制崖底碎石图，即以 作图，在该图上找 拐弯处，选取拐弯点对应的序号，此序号后的特征值 全部较小且彼此大小差不多。这样选出的号码作为主 成分的个数。 （3）先求出所有特征值的平均值，取大于平均值的特 征值的个数为主成分的个数。 eg1. 设随机变量 的协方差矩阵为 求X的各主成分。 解：求得 的特征值及相应的单位正交化特征向量分 别为 因此X的主成分为 如只取第一主成分，则贡献率为 5.83/(5.83+2+0.17)=73%, 若取前两个主成分，则累积贡献率为 (5.83+2)/(5.83+2+0.17)=98%. 由此可见，用前两个主成分代替原来三个变 量，其信息损失时很小的。 用R编程： a=c(1,-2,0,-2,5,0,0,0,2) b=matrix (data=a, ncol=3, byrow=T) #由向量a构造一3列的矩阵， byrow=T表示生成矩阵的数据按 行放置； c=eigen(b)#求b的特征值与特征向量 c $values [1] 5.8284271 2.0000000 0.1715729 $vectors [,1] [,2]