一元线性模型的参数估计分析.ppt

四、最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方面考察其优劣性： （1）线性性，即它是否是另一随机变量的线性函数； 1、概述 （2）无偏性，即它的均值或期望值是否等于总体的真实值； （3）有效性，即它是否在所有线性无偏估计量中具有最小方差。 （4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值； （5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值； （6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。 这三个准则也称作估计量的小样本性质。 拥有这类性质的估计量称为最佳线性无偏估计量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质： 2、高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。 下面分别对最小二乘估计量的线性性、无偏性和有效性进行证明，作为不熟悉的同学的自学内容。★ 证： 易知 故 同样地，容易得出 （2）证明最小方差性 其中，ci=ki+di，di为不全为零的常数 则容易证明 由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。 五、参数估计量的概率分布及随机干扰项方差的估计 1、参数估计量的概率分布 2、随机干扰项?的方差?2的估计 ?2又称为总体方差。 由于随机项?i不可观测，只能从?i的估计——残差ei出发，对总体方差进行估计。 可以证明，?2的最小二乘估计量为： 它是关于?2的无偏估计量。 在最大或然估计法中，求解似然方程： ?2的最大或然估计量不具无偏性，但却具有一致性。 估计参数的方差和标准差 的样本方差 和标准差 的样本方差 和标准差 §2.3 一元线性回归模型的参数估计(Estimation of Simple Linear Regression Model) 一、参数的普通最小二乘估计（OLS） 二、参数估计的最大或然法(ML) 三、参数估计的矩法(MM) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计 如果线性方程组 的系数行列式D不等于零， 则方程组有唯一解 （1） CRAMMER法则 解 CRAMMER法则应用 所以 1、Crammer法则只能用于求解方程个数与未知数 个数相等的线性方程组； 2、Crammer法则只能求得系数行列式不为零时的 线性方程组的唯一解； 即如果方程个数与未知数个数不相等，或系数 行列式等于零，则Crammer法则失效。 3、计算量大，要计算 n+1 个 n 阶行列式的值。 CRAMMER法则应用局限 一、参数的普通最小二乘估计（OLS） 1、最小二乘原理 根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。 为什么取平方和？ 给定一组样本观测值（Xi, Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值. 方程组（*）称为正规方程组（normal equations）。 2、正规方程组 3、参数估计量 记 上述参数估计量可以写成： 称为OLS估计量的离差形式（deviation form）。 由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。 顺便指出 ，记 则有 可得 （**）式也称为样本回归函数的离差形式。 （**） 注意： 在计量经济学中，往往以小写字母表示对均值的离差。 4、“估计量”（estimator）和“估计值” (estimate)的区别 如果给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量的一个具体数值； 如果把上式看成参数估计的一个表达式，那么，则是Yi的函数，而Yi是随机变量，所以参数估计也是随机变量，在这个角度上，称之为“估计量”。 5、例题（采用Eviews进行OLS估计） 数据 OLS估计 二、参数估计的最大似然法(ML) 1、最大似然法 最大似然法(Maximum Likelihood,ML)，也称最大或然法，