2010计量经济学第三讲多元线性回归模型参考..doc

第三讲 多元线性回归模型 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = ?0 +?1xt1 + ?2xt2 +…+ ?k- 1xt k -1 + ut , (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，?i, i = 0, 1, … , k - 1是回归参数（通常未知）。 (1.3) Y = X ? + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。 假定 ⑴ 随机误差项ut是非自相关的，每一误差项都满足均值为零，方差 ?2相同且为有限值，即 　　E(u) = 0 = , Var (u) = E(' ) = ? 2I = ? 2 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u) = 0 假定 ⑶ 解释变量之间线性无关。 　　rk(X 'X) = rk(X) = k 其中rk(?)表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当T → ∞ 时 T– 1X 'X → Q 其中Q是一个有限值的非退化矩阵。 最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。 minS = (Y - X)' (Y - X) = Y 'Y -'X 'Y - Y ' X +'X 'X = Y 'Y - 2'X 'Y + 'X 'X (1.5) 因为Y 'X是一个标量，所以有Y 'X = 'X 'Y。(1.5) 的一阶条件为： = - 2X 'Y + 2X 'X= 0 (1.6) 化简得 X 'Y = X 'X 因为 (X 'X) 是一个非退化矩阵（见假定⑶），所以有 = (X 'X)-1 X 'Y （1.7） 因为X的元素是非随机的，(X 'X) -1X是一个常数矩阵，则是Y的线性组合，为线性估计量。 求出，估计的回归模型写为 Y = X+ (1.9) 其中= ( … )' 是 ? 的估计值列向量，= (Y - X) 称为残差列向量。因为 = Y - X= Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y (1.10) 所以也是Y的线性组合。的期望和方差是 E() = E[(X 'X)-1 X 'Y ] = E[(X 'X)-1X '(X? + u)] = ? + (X 'X)-1X ' E(u) = ? (1.11) Var() = E[(–?) (–?)']= E[(X 'X)-1X ' u u' X (X 'X)-1] = E[(X 'X)-1X ' ? 2I X (X 'X)-1] = ? 2 (X 'X)-1 (1.12) 高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差 s2 = '/ (T - k) (1.13) s 2是? ? 的无偏估计量，E(s 2 ) =? ?。的估计的方差协方差矩阵是 () = s? (X 'X)-1 (1.14) 3. 多重确定系数（多重可决系数） Y = X+=+ (1.15) 总平方和 SST = = Y 'Y - T, (1.16) 其中是yt 的样本平均数，定义为= 。回归平方和为 SSR = = '- T