计量经济学第六讲vvv.docVIP

第六讲 多重共线 数学准备：FWL定理 对于多元线性回归模型： （1） 在OLS法下，各系数估计通过求解四个正规方程而获得。事实上，如果只关注某一个斜率系数的估计结果，则通过构造一系列简单线性回归模型就能获得所关注的斜率系数的估计。假设我们现在关注，那么构造系列简单线性回归模型的过程是： 第一步：把对其他解释变量进行回归（请注意，截距所对应的解释变量为1），即有： （2） 第二步：把也对（2）中的解释变量进行回归，即有： （3） 第三步：把对进行回归（因为与其均值都为零，所以该回归模型不必带有截距项），即有： （4） 现在有两个结论，即，结论一：；结论二：残差等于多元回归中的残差。这两个结论就是著名的FWL定理（Frisch-Waugh-Lovell theorem）。关于FWL定理的一个简单证明见附录1。附录2涉及到该定理的应用。 笔记： 所反映的是，在控制其他因素后对的影响（与“偏导数”概念对应）。与的相关关系可能是由于它们共同的“亲戚”—— 与所带来的。在控制共同“亲戚”对及其的影响后，我们所发现的与的相关关系被称为偏相关关系。在前述步骤中，第一步与第二步实际上是在剔除共同“亲戚”的影响。 练习： 基于简单线性回归模型： 验证FWL定理。 如果我们只需要结论一，则上述三步骤可以被简化为两步骤：首先把对其他解释变量进行回归，得到残差，其次把对进行回归： 可以验证：，但应该注意此时并不能保证成立。 笔记： 在这里对所进行的是无截距回归。事实上，此时是否增加截距项并不影响斜率估计结果。这是因为，由于，故，而该等式右边正是有截距情况下斜率的估计结果。 练习： （1）针对上述例子，利用OLS法的代数知识，证明： 并说明此时为何不能保证成立。 （2）对进行OLS估计，利用前述知识证明： 在这里，、分别是与及其的样本相关系数。 笔记： 一些有用的结论： 1、当与及其样本无关时则。注意，仅仅与样本无关不能保证。 2、当与样本无关时，多元线性回归中的等于简单线性回归中的，两者皆等于。 考察 的方差是多少呢？ OLS法保证了，因此 由于我们假定是非随机的，进而也是非随机的。假定，则有： 注意到，是（2）中的残差平方和，我们已知道： 其中是根据（2）计算的决定系数。因此有： 通常被称为方差膨胀因子（VIF），而被称为容忍度（Tolerence）。另外，由于为的样本方差，因此有： （6） 根据（6）式，一个总结是，保持其他影响因素不变，的方差（或者标准差）将： （1）随着样本容量的增加而减少； （2）随着样本方差的增加而减少； （3）随着增加而增加； （4）随着误差项方差的增加而增加； 笔记： 样本容量越大则信息越多；样本方差越大意味着在解释y时我们掌握的样本覆盖面广，故信息越多。信息越多将提高估计精度。越大表示解释变量所蕴含信息的重叠度高，因此有效信息较少，故降低估计精度。误差项方差大即y的方差大，这意味着被解释对象更加捉摸不定，从而估计面临着更大的困难，估计精度下降。 一般是未知的，需要估计。从而的标准误为： 其中。因此， 考虑初始模型（1），显然有： 因此，有： （7） 特别要注意，是随机的（在（7）式中，是随机的，其随机性来源于y的随机性）。既然是随机的，那么我们再也不能像对（6）式那样总结了！然而在大样本下，由于标准误在概率上收敛于标准差，故此时有关标准差的一些结论可以应用于标准误。 思考题： 针对特定的样本，依据（7）式可以计算出一个确定性的值。如果在模型（1）上再增添一个解释变量，显然一般是增加的，因此将增加的标准差，但一定会增加的标准误吗？ 多重共线及其后果 当越大，我们称解释变量共线性程度越严重（针对模型（1），这样的判定系数有三个）。当， 被完全拟合，换句话说，存在： 其中不为零。那么根据公式： 有：。此时，我们称解释变量完全共线性。解释变量完全共线违背了高斯-马尔科夫假定。当解释变量其共线性程度并未达到完全共线性时，我们称解释变量多重共线。 注意，多重共线并未违背高斯-马尔科夫假定，只要其他高斯-马尔科夫假定成立，OLS估计量仍保持所有的良好性质。那么为什么我们还要讨论多重共线呢？显然这是因为，正如前面所讨论的，多重共线程度较高可能导致OLS估计量的标准差或者标准误较大。如果情况确实如此，那么有：（1）t检验的可靠性降低，犯第二类错误的概率较大；（2）置信区间更宽，以致我们不能很好地猜测b1的取值。 思考题：为什么此时t检验犯第二类错误的概率较大？ 多重共线一定会带来后果吗？ 考虑模型，现在，与的相关性很大，因此，在OLS法下，与的方差或许很大。但与的相关性很大并不一定意味着、及其常变量1能够很好地拟合，因此，