多元线性回归与最小二乘估计.doc

多元线性回归与最小二乘估计 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1 + ut (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，βi, i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) =多元线性回归与最小二乘估计 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1 + ut (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，βi, i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) =β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1决定的k维空间平面。 当给定一个样本（yt , xt1, xt2 ,…, xt k -1）, t = 1, 2, …, T时, 上述模型表示为 y1 =β0 +β1x11 +β2x12 +…+βk- 1x1 k -1 + u1, 经济意义：xt j是yt的重要解释变量。 y2 =β0 +β1x21 +β2x22 +…+βk- 1x2 k -1 + u2, 代数意义：yt与xt j存在线性关系。 ……….. 几何意义：yt表示一个多维平面。 yT =β0 +β1x T 1 +β2x T 2 +…+βk- 1x T k -1 + uT, (1.2) 此时yt与x t i已知，βj与 ut未知。 (1.3) Y = Xβ+ u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。 假定 ⑴ 随机误差项ut是非自相关的，每一误差项都满足均值为零，方差 (2相同且为有限值，即 　　E(u) = 0 = , Var (u) = E( ) =σ2I = σ2. 假定 ⑵ 解释变量与误差项相互独立，即 E(X u) = 0. 假定 ⑶ 解释变量之间线性无关。 　　rk(X X) = rk(X) = k . 其中rk(()表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当T → ∞ 时 T– 1X X → Q . 其中Q是一个有限值的非退化矩阵。 最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。 minS = (Y - X) (Y - X) = Y Y -X Y - Y X +X X = Y Y - 2X Y + X X. (1.5) 因为Y X是一个标量，所以有Y X = X Y。(1.5) 的一阶条件为： = - 2X Y + 2X X= 0 (1.6) 化简得 X Y = X X 因为 (X X) 是一个非退化矩阵（见假定⑶），所以有 = (X X)-1 X Y （1.7） 因为（1.5）的二阶条件 = 2 X X ( 0 (1.8) 得到满足，所以 (1.7) 是 (1.5) 的解 。 因为X的元素是非随机的，(X X) -1X是一个常数矩阵，则是Y的线性组合，为线性估计量。 求出，估计的回归模型写为 Y = X+