第2章⑵一元线性回归参数估计.ppt

§2.2 一元线性回归模型 及其参数估计 一、一元线性回归模型的参数估计 二、普通最小二乘参数估计量的统计性质 三、普通最小二乘参数估计量的概率分布 一、一元线性回归模型的参数估计（教材P31） 一元线性回归模型的一般形式 一元线性回归模型的一般形式是： 模型参数估计的任务 模型参数估计的任务为两项： 1.普通最小二乘法（Ordinary Least Square, OLS） 给定一组样本观测值（Xi, Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。 普通最小二乘参数估计量的离差形式(deviation form) 记 随机误差项方差的估计量（教材P39 ） 上述两个简捷公式是等价的! 证明如下： （补充） 2.最大似然法（ Maximum Likelihood, ML） 【该部分不作要求】 最大似然法，也称最大或然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。 最大似然法的基本原理： 对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。 将该似然函数极大化，即可求得到模型参数的极大似然估计量。 由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下： 可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。(见教材P34) 但是，随机误差项的方差的估计量是不同的。 (见教材P39) 3.样本回归线的数值性质 (numerical properties) 样本回归线通过Y和X的样本均值； Y估计值的均值等于观测值的均值； 残差的均值为0。 二、普通最小二乘参数估计量的统计性质(高斯-马尔可夫定理) 当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 1.线性：普通最小二乘参数估计量是Yi的线性函数。 2.无偏性：普通最小二乘参数估计量的均值等于总体回归参数真值。 3.有效性：在所有线性无偏估计量中，普通最小二乘参数估计量具有最小方差。 （2）证明最小方差性(提示:不要求掌握!) 普通最小二乘参数估计量具有线性、无偏性、最小方差性等优良性质。 具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（the Best Linear Unbiased Estimators）。 显然，这些优良的性质依赖于对模型的基本假设。 三、普通最小二乘参数估计量的概率分布 例：已知收入X和消费支出Y的如下数据，试估计Y对X的一元线性回归方程，并计算参数估计量的标准差。 前已指出，就一元线性回归而言，随机误差项方差的无偏估计量为：(教材P39) 上式的证明过程，参见潘文卿、李子奈、高吉丽：《计量经济学习题集》P11例8。 * i=1，2，…，n 在满足如下基本假设(见P30-31，主要是假设1-4)的情况下 ： ( i=1,2,…,n ; j=1,2,…,n ; i≠j ) 随机抽取n组样本观测值(Yi,Xi)， i=1, 2, …, n，就可以估计模型的参数。 普通最小二乘法给出的判断标准是：二者之差的平方和最小，即 解得： 则参数估计量可以写成： 注：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的离差（deviation)。 上式的证明过程，参见潘文卿、李子奈、高吉丽：《计量经济学习题集》P11例8。 1.用原始数据（观测值）Xi，Yi计算 简捷公式为 2.用离差形式的数据xi，yi计算 其中 简捷公式为（常用！） 注意 (补充) 因为Yi是相互独立的，所以Y的所有样本观测值的联合概率，也即似然函数(likelihood function)为： 解得模型的参数估计量为： 要求：你应该会证明！并通过证明过程掌握普通最小二乘法的正规方程组和参数估计公式。 高斯—马尔可夫定理 ( Gauss-Markov theorem ) 在经典线性回归模型的假定下，普通最小二乘参数估计量是具有最小方差的线性无偏估计量。 证： 4.结论 首先，由于解释变量Xi是确定性变量，随机误差项?i是服从正态分布的随机变量，因此，被解释变量Yi也是服从正态分布的随机变量，且其分布（特征）与?i相同。 定理：若随机变量X和Y相互独立，且X～N(?1，?12) ， Y～ N(?2，?22)，则X+Y ～ N