多重共线性处理.docVIP

目 录 一、摘要 1 二 、引言 1 三、认识多重共线性 1 （一）多重共线性的定义 1 （二）多重共线性产生的危害 2 （三）多重共线性产生的原因 2 （四）多重共线性产生的诊断的方法 3 （五）多重共线性的处理的方法 3 四、 实际的应用 7 （一）普通最小二乘法 7 （二）岭回归 8 （三）主成分回归 10 （四）简单的比较 11 （五）结论和建议 11 五、结论 12 六、参考书目 13 七、附录 14 浅谈多重共线性 摘 要 各解释变量之间存在多重共线性是现实中很普遍的现象。本文对线性估计多重共线性问题进行了简单的介绍,对一些常用的解决多重共线性的方法进行了概括,并运用主成分和岭回归的方法对实际的问题进行了分析. 关键字 岭回归 主成分 多重共线性 Abstact The interpretation of variables between multicollinearity is in reality very common phenomenon. In this paper, linear estimated multicollinearity issue a simple, commonly used to solve a number of multi-linear way of a summary and use of the main components and ridge on the actual return to the way the issue was analyzed. Keywords Ridge Regression The main component regression collinearity 一.引言 回归分析是一种比较成熟的预测模型,也是在预测过程中使用较多的模型,在自然科学管理科学和社会经济中有着非常广泛的应用，但是经典的最小二乘估计，必需满足一些假设条件，多重共线性就是其中的一种。实际上，解释变量间完全不相关的情形是非常少见的，大多数变量都在某种程度上存在着一定的共线性，而存在着共线性会给模型带来许多不确定性的结果。 二．认识多重共线性 （一）．多重共线性的定义 设回归模型ε如果矩阵X的列向量存在一组不全为零的数, I =1,2,…n ,则称其存在完全共线性,如果, I =1,2,…n ,则称其存在近似的多重共线性 （二）．多重共线性的危害 1.如果矩阵存在完全共线性矩阵的秩rank(X)p+1,此时||=0正规方程组的解（）=Xy的解不为一且 不存在,回归参数的最小二乘估计表达式不成立,最小二乘的系数将得不到估计 2.经济问题中出现最多的是近似共线性的情况,此时矩阵的秩rank(x)=p+1虽然成立，但是||≈0,对角线上的元素很大,估计参数的方差阵的对角线元素很大,而对角线上的元素正式各个参数的方差,这样各个参数的估计的精度就会很低。这时虽然能够得到参数的最小二乘无偏估计，但是回归系数的估计值对样本数据的微小变化将变的非常敏感，回归系数的估计值的稳定性将变得很差。 3当存在严重的多重共线性时，会给回归系数的统计检验造成一定的困难，可能造成F检验获得通过，T检验却不能够通过。 4．在自变量高度相关的情况下，估计系数的含义有可能与常识相反. 5.在进行预测时，因为回归模型的建立是基于样本数据的，多重共线性也是指抽样的数据。如果把建立的回归模型用于预测，而多重共线性问题在预测区间仍然存在，则共线性问题对预测结果不会产生特别严重的影响，但是如果样本数据中的多重共线性发生 了变化则预测的结果就不能完全的确定了 （三）．多重共线性产生的原因 1.模型参数的选用不当，在我们建立模型时如果变量之间存在着高度的 相关性，我们又没有进行处理建立的模型就有可能存在着共线性。 2.由于研究的经济变量随时间往往有共同的变化趋势,他们之间存在着共线性。例如当经济繁荣时，反映经济情况的指标有可能按着某种比例关系增长 3滞后变量。滞后变量的引入也会产生多重共线行，例如本期的消费水平除了受本期的收入影响之外，还有可能受前期的收入影响，建立模型时，本期的收入水平就有可能和前期的收入水平存在着共线性。 （四）．多重共线性的诊断 1.直观的判断方法 （1）在自变量 的相关系数矩阵中，有某些自变量的相关系数值比较大。 （2）回归系数的符号与专业知识或一般经验相反 （3）对重要的自变量的回归系数进行t检验，其结果不显著，但是F检验确得到了显著 的通过 （4）如果增加一个变量或删除一个变量，回归系数的估计值发生了很大的变化 （5）重要变量的回归系数置信区间明显过大 2.方差扩大因子法(VIF)，定义=