多重共线性的处理.pptVIP

多重共线性的处理 第一种方法：逐步回归法 其原理是从所有自变量中选择对因变量Y影响最为显著的变量建立模型。 步骤:开始时，将因变量与每个自变量作一元回归，选出与Y最密切相关的，也就是F检验最显著的一元线性回归方程。 然后再引入第二个变量，原则是它比别的变量进入模型有更大的F检验值。同时对原来的第一个变量做显著性检验，看新变量引入后老变量是否还显著。若不显著则予以剔除。 这样反复进行，直到再无新变量可以引入，旧变量无法提出位置。最终建立回归方程 在变量引入后，如果有的变量不显著，则说明新引入的变量与其他变量存在多重共线性。此时我们将最显著程度达不到标准的变量剔除。在这个过程中，我们达到了消除多重共线性的效果。 第二种方法：主成分分析法 主成分分析法是利用降维的思想，在保留原始变量尽可能多的信息的前提下把多个指标转化为几个综合指标的方法。 通常把转化生成的综合指标称为主成分，每一个主成分都是原始变量的线性组合，但是各个主成分之间没有相关性，这就解决的多重共线性的问题。 主成分分析是把p个原始变量X1,X2,▪▪▪ ,Xp的总方差分解成为p个不相关的变量的方差之和 主成分的贡献度可以用它的方差除以总的方差的比例来表示 我们可以用主成分的方差Var(F1)来表达Y1所包含的信息。其方差越大，表示F1包含的信息越多。因此，我们在所有的线性组合中所选取的F1应该是方差最大的，称为第一主成分。