多重共线性处理方法.ppt

多重共线性处理方法 多重共线性的处理 为了避免共线性的影响,目前多采用回归系数有偏估计的方法,即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。换言之,允许估计有不大的偏度,以换取估计方差可显著减小的结果,并在使其总均方差为最小的原则下估计回归系数。 解决多重共线性问题的方法 1、岭回归 2、主成分回归 3、偏最小二乘回归 4、其它：神经网络、通径分析 1、岭回归： 1962年,A.E.Hoerl针对多重共线性的问题,提出了一种叫岭回归的回归估计方法。对线性模型 定义偏回归系数β的岭估计为 其中k称为岭参数。 岭回归的核心思想是当出现多重共线性时, , 的特征根 至少有一个非常接近于0，从而使参数β的最小二乘估计 很不稳定。给 加上一个正常数矩阵kI(k0),则 等于零的可能性就比 的可能性要小得多， 的特征根 接近于0 的程度就会得到改善。 且从理论上可以证明,存在k0,使得的 均方误差比 的均方误差小。因此，用岭回归来估计偏回归系数比用普通最小二乘法估计要稳定得多。这样就消除了多重共线性对参数估计的危害。 在实际应用中,通常确定k值的方法有以下几种: ①岭迹图法 ②方差膨胀因子法 ③控制残差平方和法 2、主成分回归 1965年,W.F.Massy提出了主成分回归(PrincipalComponent Regression,简称PCR)方法，首先提取自变量的主成分, 由于各主成分之间相互正交，相关系数为0，此时即可用最小二乘法估计偏回归系数，建立因变量与相互独立的前几个主成分的回归模型,然后再还原为原自变量的回归方程式。 可见，主成分回归分析解决多重共线性问题是通过降维的处理而克服多重共线性的影响，正确表征变量间的关系。 然而,由于PCR提取X的主成分是独立于因变量Y而进行的,没有考虑到X对Y的解释作用,这就增加了所建模型的不可靠性。