2.2最大或然.ppt

§2.2 一元线性回归模型的参数估计Simple Linear Regression Model and Its Estimation 一、普通最小二乘法（OLS） 二、最大或然法（ML） 三、参数估计量的概率分布与随机项方差的估计 四、参数估计量的性质 五、实例 一、普通最小二乘法（OLS） 1、普通最小二乘法（Ordinary Least Square,OLS） 给定一组样本观测值Xi, Yi（i=1,2,…n），要求样本回归方程尽可能好地拟合这组值，即样本回归线上的点与真实观测点的“总体误差”尽可能地小。 案例 研究某居住小区家庭可支配收入X（单位：元）对家庭消费支出Y（单位：元）的影响。 假如在该小区的家庭中抽出10户观察数据如下 X 800 1200 1600 2000 2400 800 1200 1600 2000 2400 Y 550 790 1020 1200 1370 600 840 1070 1360 1450 散点图 最小二乘准则 最小二乘准则 使各个观测样本点到拟合直线的铅直距离平方和（即 ）最小。 最小二乘估计 求解正规方程组，得到符合最小二乘最准则的参数估计量（称最小二乘估计量） 2、参数估计的离差形式(deviation form) 注：在计量经济学中，往往以小写字母表示对均值的离差（deviation)。 二、最大或然法（ML） 最大或然法（ Maximum Likelihood, ML） ，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。 对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 将该或然函数极大化，即可求得到模型参数的极大或然估计量。 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下： 可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。 但是，随机误差项的方差的估计量是不同的。 三、参数估计量的概率分布与随机项方差的估计 当模型参数估计完成，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用于考察总体的统计量，可从三个方面考察其优劣性： （1）线性性(linear)：即是否是另一随机变量的线性函数； （2）无偏性(unbiased)：即它的均值或期望值是否等于总体的真实值； （3）有效性(efficient)：即它是否在所有线性无偏估计量中具有最小方差。 1、线性性：参数估计量 是Yi的线性函数 2、无偏性：参数估计量 的均值（期望）等于模型参数值。即 3、有效性：在所有线性、无偏估计量中，最小二乘估计量具有最小方差。 证明最小方差性 4、结论 普通最小二乘估计量具有线性性、无偏性、最小方差性等优良性质。 具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（the Best Linear Unbiased Estimators）。 显然这些优良的性质依赖于对模型的基本假设。 Back * 最小二乘法 给出的 判断的标准 是：二者之差的平方和 2 1 ) ? ( i n i Y Y Q - = ? = 2 1 0 1 )) ? ? ( ( i n i X Y b b + - ? 最小。 Y X . . . . . X Y (Xi,Yi) ei (Xj,Yj) ej min 0 min 经整理，得到正规方程组： 拟合直线： X Y 3、随机误差项的方差的估计量 Back Back 可以证明 ：总体方差 2 s 的 无偏估计量 为 2 ? 2 2 - = ? n e i s 在总体方差 2 s 的无偏估计量 2 ? s 求出后， 估计的参数 0 ? b 和 1 ? b 的方差和标准差的估计量 分别是： 1 ? b 的样本方差： ? = 2 2 1 ? ) ? ( i x Var s b 1 ? b 的样本标准差： ? = 2 1 ? ) ? ( i x S s b 0 ?