一元线性回归模型及参数估计.ppt

一元线性回归模型及其参数估计 一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布 第一页，编辑于星期二：十八点 六分。 一、一元线性回归模型的参数估计 第二页，编辑于星期二：十八点 六分。 一元线性回归模型的一般形式 一元线性回归模型的一般形式 是： i i X i Y m b b + + = 1 0 i=1 ， 2 ，…， n 在满足 基本假设： = = = = 0 ) , ( 0 ) , ( 2 ) ( 0 ) ( i i x Cov j i Cov i Var i E m m m m s m m i=1,2, … ,n j=1,2, … ,n i ≠ j 的情况下，随机抽取 n 组样本观测值 i X i Y , （ i=1,2, … n ），就 可以估计模型的参数。 同方差 期望或均方值 协方差 第三页，编辑于星期二：十八点 六分。 模型参数估计的任务 模型参数估计的任务为两项： 一是求得反映变量之间数量关系的结构参数的估计量， 在一元线性回归模型即是参数 和 的估计量； b 0 b 1 二是求得随机误差项的分布参数，由于随机误差项 的均值已经被假定为0，所以所要求的分布参数只有 方差 。 2 m s 第四页，编辑于星期二：十八点 六分。 1、普通最小二乘法（Ordinary Least Square, OLS） 给定一组样本观测值（Xi, Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。 最小二乘法给出的判断标准是：二者之差的平方和最小，即 第五页，编辑于星期二：十八点 六分。 由于 2 ) ? 1 ( i Y n i Y Q - = ? = 2 )) 1 ? 0 ? ( 1 ( i X n i Y b b + - ? 是 $ b 0 、 $ b 1 的二次函 数，并且非负，所以其极小值总是存在的。 根据极值存在的 条件 ，当 Q 对 $ b 0 、 $ b 1 的一阶偏导数为 0 时， Q 达到最小。即 0 0 1 ? 0 ? = = ? ? ? ? ? í ì b ? ? b ? ? Q Q T ? í ì = - + = - + ? ? 0 ) 1 ? 0 ? ( 0 ) 1 ? 0 ? ( i X i Y i X i Y i X b b b b T ? ? ? í ì S + S = S S + = S 2 1 ? 0 ? 1 ? 0 ? i X i X i X i Y i X n i Y b b b b 第六页，编辑于星期二：十八点 六分。 解得： ? ? ? í ì 1 0 - = ? ? X Y b b S - S S S - S = 2 ) ( 2 1 ? i X i X n i X i Y i X i Y n b 由于 0 ? b 、 1 ? b 的估计结果是从最小二乘原理得到的，故称为 最小二乘估计量 (least-squares estimators) 。 第七页，编辑于星期二：十八点 六分。 最小二乘参数估计量的离差形式(deviation form) 注：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的离差（deviation)。 记 ? ? ? ? ? ? ? í ì - = - = = = ? ? Y i Y i y X i X i x i Y n Y i X n X 1 1 ， 则参数估计量可以写成： ? ? ? í ì = - = ? ? 2 1 ? 1 ? 0 ? i x i y i x X Y b b b 第八页，编辑于星期二：十八点 六分。 随机误差项方差的估计量 记 i Y i Y i e ? - = 为第i个样本观测点的残差，即被解释变量的估计值与观测值之差，则随机误差项方差的估计量为： 第九页，编辑于星期二：十八点 六分。 1.用原始数据（观测值）Xi，Yi计算 简捷公式为 2.用离差形式的数据xi，yi计算 其中 简捷公式为 第十页，编辑于星期二：十八点 六分。 2、最大似然法（ Maximum Likelihood, ML） 最大或然法，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。