一元线性回归模型及参数估计课堂.pptVIP

1 一元线性回归模型及其参数估计 一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布 2 一、一元线性回归模型的参数估计 3 一元线性回归模型的一般形式 一元线性回归模型的一般形式 是： i i X i Y m b b + + = 1 0 i=1 ， 2 ，…， n 在满足 基本假设 ： = = = = 0 ) , ( 0 ) , ( 2 ) ( 0 ) ( i i x Cov j i Cov i Var i E m m m m s m m i=1,2, … ,n j=1,2, … ,n i ≠ j 的情况下，随机抽取 n 组样本观测值 i X i Y , （ i=1,2, … n ），就 可以估计模型的参数。 同方差 期望或均方值 协方差 4 模型参数估计的任务 ? 模型参数估计的任务 为两项： 一是 求得 反映变量之间数量关系的结构参数的 估计量 ， 在一元线性回归模型即是参数 和 的估计量； b 0 b 1 二是 求得 随机误差项的 分布参数 ，由于随机误差项 的均值已经被假定 为 0 ， 所以所要求的分布参数只有 方差 。 2 m s 5 1 、普通最小二乘法 （ Ordinary Least Square, OLS ） 给定一组样本观测值（ X i , Y i ）， i=1,2,…n ，假如 模型参数估计量已经求得，并且是最合理的参数估 计量，那么样本回归函数应该能够最好地拟合样本 数据，即样本回归线上的点与真实观测点的“总体 误差”应该尽可能地小。 最小二乘法 给出的 判断标准 是：二者之差的平方 和最小，即 ? = ? = + ? = ? = n i i i n i i i X Y Y Y Q 1 2 1 0 1 2 )) ? ? ( ( ) ? ( b b 最小 ? 6 由于 2 ) ? 1 ( i Y n i Y Q ? = ? = 2 )) 1 ? 0 ? ( 1 ( i X n i Y b b + ? ? 是 $ b 0 、 $ b 1 的二次函 数，并且非负，所以其极小值总是存在的。 根据极值存在的 条件 ，当 Q 对 $ b 0 、 $ b 1 的一阶偏导数为 0 时， Q 达到最小。即 0 0 1 ? 0 ? = = ? ? ? ? ? ? ? b ? ? b ? ? Q Q ? ? ? ? = ? + = ? + ? ? 0 ) 1 ? 0 ? ( 0 ) 1 ? 0 ? ( i X i Y i X i Y i X b b b b ? ? ? ? ? ? S + S = S S + = S 2 1 ? 0 ? 1 ? 0 ? i X i X i X i Y i X n i Y b b b b 7 解得： ? ? ? ? ? 1 0 ? = ? ? X Y b b S ? S S S ? S = 2 ) ( 2 1 ? i X i X n i X i Y i X i Y n b 由于 0 ? b 、 1 ? b 的估计结果是从最小二乘原理得到的，故称为 最小二乘估计量 (least-squares estimators) 。 8 最小二乘参数估计量的离差形式 (deviation form) 注 ：在计量经济学中，往往以大写字母表示原始数据 （ 观 测 值） ， 而以 小 写字 母 表示 对 均值 的 离差 （ deviation) 。 记 ? ? ? ? ? ? ? ? ? ? = ? = = = ? ? Y i Y i y X i X i x i Y n Y i X n X 1 1 ， 则参数估计量可以写成： ? ? ? ? ? = ? = ? ? 2 1 ? 1 ? 0 ? i x i y i x X Y b b b 9 随机误差项方差的估计量 ? s m 2 2 2 = ? S e n i 记 i Y i Y i e ? ? = 为第 i 个样本观测点的残差，即被 解释变量的估计值与观测值之差 ， 则 随机误差项方 差的估计量 为 ： 10 1. 用 原始数据（观测值） X i ， Y i 计算 ? 2 i e 简捷公式 为 ? ? ? ? ? ? = i X i Y i Y i Y i e 1 ? 0 ? 2 2 b b 2. 用离差形式的数据 x i ， y i 计算 ? ? ? ? = 2 2 1 2 2 ? i i i x y e b 其中 ? ? ? ? = ? = 2 2 2 2 ) ( Y n Y Y Y y i i i 2 2 2 2 ) ( X n X X X x i i i ? = ? = ? ? ? ? 2 i e 简捷公式 为 11 2 、最大似然法（ Maximum Likelihood, ML ） ? 最大或