多重共线性的发现和检验.ppt

第八章 多重共线性 本章结构 第一节 多重共线性及其影响 第二节 多重共线性的发现和检验 第三节 多重共线性的克服和处理 第一节 多重共线形及其影响 一、多重共线形及其分类 二、严格多重共线形及其危害 三、近似多重共线形的原因及其影响 一、多重共线性及其分类 多元线性回归模型要求解释变量之间不存在线性关系，包括严格的线性关系和高度的近似线性关系。 但事实上由于模型设定和数据等各方面的问题，模型的解释变量之间很可能存在某种程度的线性关系。这时候称多元线性回归模型存在多重共线性问题。 多重共线性可以分为两类。 如果多元线性回归模型中，存在两个或多个解释变量之间存在严格的线性关系，则称为“完全多重共线性”，也称为“严格的多重共线性”。 而解释变量之间存在近似的而不是严格的线性关系，这种情况被称为“近似多重共线性”。 二、严格多重共线形及其危害 完全多重共线性不可能由于数据问题引起，通常是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的。 设两个解释变量的线性回归模型为： 回归方程为： 求参数最小二乘估计量的正规方程组为： 其中 、 和 分别是 、 和 的离差。 设 和 两个变量之间有严格的线性关系 ，这个模型当然就存在完全的多重共线性。 此时 也成立。把该关系式代入上述正规方程组中的第二式可得： 得到： 很显然，这个方程与上述正规方程组的第一个方程是完全相同的。 这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这时该方程组有无穷组解而不是有唯一一组解。 这实际上意味着被解释变量究竟受哪些变量的影响变得很不清楚，变量关系是无法识别的。 有完全多重共线性的多元线性回归模型都无法顺利进行参数估计，会使多元线性回归模型参数估计失败，回归分析无法进行。 完全多重共线性虽然破坏性很大，却不是最需要担心的问题。 因为完全多重共线性是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的，因此只要在建模时适当注意就可以避免。 即使由于模型设定的疏忽使得模型存在完全多重共线性问题，也比较容易发现。因为参数估计失效马上会提示我们这方面的问题。 完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，放弃、调整相互之间形成线性关系，导致完全多重共线性的部分解释变量。 注意一般不需要也不应该放弃存在线性关系的全部变量，否则容易使模型失去意义。 三、近似多重共线形的原因及其影响 近似多重共线性既与变量选择有关，也与数据有关。 虽然解释变量的选择不当，把内在相关性较强的变量引进同一个模型，是导致近似多重共线性的重要原因，但近似多重共线性更经常的原因是经济数据的共同趋势。 近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到唯一解。 在模型存在近似多重共线性的情况下，参数的最小二乘估计不仅仍然是唯一存在的，而且仍然是最小方差线性无偏估计。 但问题是当存在比较严重的近似多重共线性问题时，参数估计方差的绝对水平可能并不小，而且会随着多重共线性程度的提高急剧上升。 如果 用记变量 的离差平方和， 记变量 对其余 个解释变量的回归平方和， 表示原模型第k 个解释变量对 其余 个解释变量回归的决定系数，那么 的方差可以写成： 如果第k个解释变量与其余 个解释变量完全没有相关性，那么 ， 。 当第k 个解释变量与其他解释变量之间有相关性时， 。 当第k 个解释变量与其他解释变量之间有很强的相关性，也就是模型存在很强的近似多重共线性时， 接近1，此时 的方差 会变得非常大。 参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出现参数符号和数值大小的异常情况，从而使最小二乘估计的有效性受到很大影响。 多重共线性正是通过这样的机制，对多元线性回归模型的最小二乘估计产生不利影响，其后果常表现为参数估计不稳定，数据的很小变化会引起参数估计值的较大变化，而且参数估计的异常值增多，包括显著性水平不符合实际，或反映解释变量作用方向的符号相反等。 近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性的隐蔽性，使得近似多重共线性的发现、判断和处理也比较困难。 正是因为这些原因，近似多重共线性是我们重点关心的问题，在多数情况下多重共线性指的就是近似多重共线性。 第二节 多重共线性的发现和检验 多重共线性的根源是解释变量之间的相关性，因此分析解释变量之间的