多重共线性处理方法.pptVIP

多重共线性的处理 为了避免共线性的影响,目前多采用回归系数有偏估计的方法,即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。换言之,允许估计有不大的偏度,以换取估计方差可显著减小的结果,并在使其总均方差为最小的原则下估计回归系数。 解决多重共线性问题的方法 1、岭回归 2、主成分回归 3、偏最小二乘回归 4、其它：神经网络、通径分析 1、岭回归： 1962年,A.E.Hoerl针对多重共线性的问题,提出了一种叫岭回归的回归估计方法。对线性模型 定义偏回归系数β的岭估计为 其中k称为岭参数。 岭回归的核心思想是当出现多重共线性时, , 的特征根 至少有一个非常接近于0，从而使参数β的最小二乘估计 很不稳定。给 加上一个正常数矩阵kI(k0),则 等于零的可能性就比 的可能性要小得多， 的特征根 接近于0 的程度就会得到改善。 且从理论上可以证明,存在k0,使得的 均方误差比 的均方误差小。因此，用岭回归来估计偏回归系数比用普通最小二乘法估计要稳定得多。这样就消除了多重共线性对参数估计的危害。 在实际应用中,通常确定k值的方法有以下几种: ①岭迹图法 ②方差膨胀因子法 ③控制残差平方和法 2、主成分回归 1965年,W.