一元线性回归的最小二乘估计.ppt

我们的任务是， 在给定X和Y的一组观测值 (X1, Y1), (X2, Y2) , ..., (Xn, Yn) 的情况下, 如何求出 Yt = ? + ?Xt + ut 中 ?和 ? 的估计值,使得拟合的直线为最佳。 我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看，也就是要求估计直线尽可能地靠近各观测点，这意味着应使各残差尽可能地小。要做到这一点，就必须用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平方和，即 整理，得： 3 例子 　对于满足统计假设条件(1)--(4)的线性回归模型 Yt = ? + ?Xt + ut , ，普通最小二乘估计量 ( OLS估计量) 是最佳线性无偏估计量（BLUE）。 或 对于古典线性回归模型（CLR模型）Yt=α+β+Xt ，普通最小二乘估计量（OLS估计量）是最佳线性无偏估计量（BLUE）。 * 一元线性回归的最小二乘估计 直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。 * * * * * et * * * * * * * * * * * * Y X Xt 图 2 Yt Yt 拟合的直线 称为拟合的回归线. 对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分成两部分。 第一部分是Yt的拟合值或预测值 ： , t=1,2,……,n 第二部分，et 代表观测点对于回归线的误差，称为拟合或预测的残差 （residuals）： t=1,2,……,n 即 t=1,2,……,n 残差 如何决定估计值 和 ? 残差平方和 最小二乘法就是选择一条直线，使其残差平方和达到最小值的方法。即选择 和 ，使得 达到最小值。 运用微积分知识，使上式达到最小值的必要条件为： 即 此二式称为正规方程。解此二方程，得： . 其中： 离差 样本均值 估计量 （5）式和（6）式给出了OLS法计算 和 的公式， 和 称为线性回归模型 Yt = ? + ?Xt + ut 的参数? 和 ? 的普通最小二乘估计量 (OLS estimators）。 这两个公式可用于任意一组观测值数据，以求出截距和斜率的OLS估计值（estimates)，估计值是从一组具体观测值用公式计算出的数值。 一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于CLR模型，普通最小二乘估计量正是这样一个好估计量。 例1 对于第一段中的消费函数，若根据数据得到： n = 10 , =23, =20 则有 因而 例2 设Y和X的5期观测值如下表所示，试估计方程 Yt = ? + ?Xt + u