一元线性回归模型的参数估计.pptVIP

§2.3一元线性回归模型的参数估计一、参数的普通最小二乘估计（OLS）二、参数估计的最大或然法(ML)三、最小二乘估计量的性质四、参数估计量的概率分布及随机干扰项方差的估计二、参数的普通最小二乘估计（OLS）给定一组样本观测值（Xi,Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法（Ordinaryleastsquares,OLS）给出的判断标准是：二者之差的平方和最小。方程组（*）称为正规方程组（normalequations）。记上述参数估计量可以写成：称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。最大或然法(MaximumLikelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n个样本观测值后，最合理的参数估计量应该使得从模型中抽取该n个样本观测值的概率最大。三、参数估计的最大或然法(ML)在满足基本假设条件下，对一元线性回归模型：随机抽取一组样本观测值（Xi,Yi）（i=1,2,…n）。那么Yi服从如下的正态分布：于是，Y的概率函数为（i=1,2,…n）假如模型的参数估计量已经求得，为将该或然函数极大化，即可求得到模型参数的极大或然估计量。因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihoodfunction)为：由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。解得模型的参数估计量为：例：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。因此，由该样本估计的回归方程为：67049747501583-0.670×2150=142.4142.4+0.670xi当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性：线性性，即它是否是另一随机变量的线性函数；四、最小二乘估计量的性质无偏性，即它的均值或期望值是否等于总体的真实值；有效性，即它是否在所有线性无偏估计量中具有最小方差。拥有这类性质的估计量称为最佳线性无偏估计量（bestlinerunbiasedestimator,BLUE）。高斯—马尔可夫定理(Gauss-Markovtheorem)1在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。2证：易知故同样地，容易得出02普通最小二乘估计量（ordinaryleastSquaresEstimators）称为最佳线性无偏估计量（bestlinearunbiasedestimator,BLUE）01其中，ci=ki+di，di为不全为零的常数则容易证明（2）证明最小方差性