计量经济学Econometrics-2.2一元线性回归.ppt

§2.2 一元线性回归模型的参数估计 一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 三、参数估计的最大似然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计 一、线性回归模型的基本假设 假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项?具有零均值、同方差和不序列相关性： E(?i)=0 i=1,2, …,n Var (?i)=??2 i=1,2, …,n Cov(?i, ?j)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项?与解释变量X之间不相关： Cov(Xi, ?i)=0 i=1,2, …,n 假设4、?服从零均值、同方差、零协方差的正态分布 ?i~N(0, ??2 ) i=1,2, …,n 有兴趣的可以参考大样本结果（见Green，2004），上述Gauss假说是一种较为简单的小样本假设。 1、如果假设1、2满足，则假设3也满足; 2、如果假设4满足，则假设2也满足。 注意： 以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。 另外，在进行模型回归时，还有两个暗含的假设： 假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。即 假设6：回归模型是正确设定的 假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spurious regression problem）。 假设6也被称为模型没有设定偏误（specification error） 二、参数的普通最小二乘估计（OLS） 给定一组样本观测值（Xi, Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值. 普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和 最小。 方程组（*）称为正规方程组（normal equations）。 记 上述参数估计量可以写成： 称为OLS估计量的离差形式（deviation form）。 由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。 顺便指出 ，记 则有 可得 （**）式也称为样本回归函数的离差形式。当然是估计的离差！ （**） 注意： 在计量经济学中，往往以小写字母表示对均值的离差。 三、参数估计的最大似然法(ML) 最大似然法(Maximum Likelihood,简称ML)，也称极大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 著名计量经济学家White1994年新书，则考虑了错误设定情况下的结果！ 在满足基本假设条件下，对一元线性回归模型： 随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。 那么Yi服从如下的正态分布： 于是，Y的概率函数为 （i=1,2,…n） 假如模型的参数估计量已经求得，为 因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(或似然函数likelihood function)为： 将该似然函数极大化，即可求得到模型参数的极大似然估计量。 由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下： 解得模型的参数估计量为： 可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。 例2.2.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。 因此，由该样本估计的回归方程为： 四、最小二乘估计量的性质 当模型参数估计出后，需考