多元线性回归与最小二乘估计.docxVIP

可编辑 可编辑 多元线性回归与最小二乘估计 1 .假定条件、最小二乘估计量和高斯一马尔可夫定理 多元线性回归模型： yt = 3 0 + 3 ixti + 3 2xt2 + …+ 3 k- 1 xt k -1 + ut (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），山是随机误差项，3i, i = 0, 1, k - 1是回归参数（通常未知） 对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1,…，k - 1,是yt的 重要解释变量。ut代表众多影响yt变化的微小因素。使 yt的变化偏离了 E（ yt）=多元 线性回归与最小二乘估计 1 .假定条件、最小二乘估计量和咼斯一马尔可夫定理 多元线性回归模型： yt = 3 0 + 3 1Xt1 + 3 2Xt2 + …+ 3 k- 1xt k -1 + ut （1.1） 其中yt是被解释变量（因变量），xt j是解释变量（自变量），山是随机误差项，3i, i = 0, 1, k - 1是回归参数（通常未知）。 对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, …-,1,是yt的重要 解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了 E（ yt） = 3 + 3 + 32xt2 +…+ 3-1 xt k -1决定的k维空间平面。 当给定一个样本（yt, xt1, xt2，…，xt k -1） , t = 1,2, T时,??上述模型表示为 y1 = 30 + 31X11 + 32x12 +…+ 3-1X1 k -1 + U1, 经济意义：xt j是yt的重要解释变量。 y2 = po + B1X21 + 32 X22 + …+ %-i X2 k -i + U2,代数意义：yt 与 xt j 存在线性关系。 几何意义：yt表示一个多维平面。 yT =p yT = po + %1X T 1 + %2X T 2 + …+ 3-1 此时yt与 X t i 已知, 3j与 ut未知。 2 骣 1 珑 M鼢 It鼢 X11 X21 L Xt1 L L L L X1j X2j L Xj L L L L (1.3) Y = X 3+ u , 为保证得到最优估计量, 回归模型 ( 1.4 T k -1 + ut, (1.2) X1 k- 1亍骣bo 骣1 o X2k-1主b1 卽2身 L 寺 M + |m| XTk-1 卡 * 桫k-1(k1)桫T?(T?1) 假定 ⑴ 随机误差项ut是非自相关的, (1.4) )应满足如下假定条件。 每一误差项都满足均值为零， 方差 2相同且 为有限值，即 E(u) = 0 = E(u) = 0 = Var (u) = E( i?i?)= (rI = 亠丄. o O 1 O 0 0 假定⑵ 解释变量与误差项相互独立，即 E(X u) = 0. 假定⑶解释变量之间线性无关。 rk(X X) = rk( X) = k . 其中rk()表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当 T t R时 T-1X X t q . 其中Q是一个有限值的非退化矩阵。 最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值 问题。 min S = ( Y - X ?) (Y - = Y Y -X ?)= - 2 YY- ?X Y - Y X ? + ?X X ? ? X Y + ? X X ? (1.5) 因为YX ?是一个标量，所以有 YX ? =?XY。(1.5) 的一阶条件为： ?S _ ?b?=- 2X Y + 2X X ?: = 0 (1.6) 化简得 X Y = X X ? 因为(X X)是一个非退化矩阵(见假定⑶) ，所以有 ?= (X X)-1 X Y (1.7 ) 因为(1.5)的二阶条件 ?2S 2 X X 0 抖? b? = (1.8) 得到满足，所以(1.7)是(1.5) 的解。 因为X的元素是非随机的， (X X) -1 X是一个常数矩阵, 则 ?是Y的线性组合， 为线性 估计量。 求出？，估计的回归模型写为 Y = X ?+ I? (1.9) 其中？ = ( ?o ?i…b?k-1)是B的估计值列向量，i?= (Y - X ?)称为残差列向量。因为 ? = Y - X ? = Y - X (X X)-1X Y = [I - X (X X)-1 X ]Y (1.10) 所以L?也是Y的线性组合。？的期望和方差是 E( ?) = E[( X X)-1 X Y ] = E[( X X)-1X (X 3+ u)] (1.11)=3+ (X X)-1X E(u) = 3 (1.11) Var( ?) = E[( ? - 3( ?