【实用资料】一元线性回归模型及参数估计PPT.pptVIP

一元线性回归模型及参数估计;（优选）一元线性回归模型及参数估计;一、一元线性回归模型的参数估计;一元线性回归模型的一般形式;模型参数估计的任务;1、普通最小二乘法

（OrdinaryLeastSquare,OLS）;由于;解得：;最小二乘参数估计量的离差形式

(deviationform);随机误差项方差的估计量;1.用原始数据（观测值）Xi，Yi计算;2、最大似然法（MaximumLikelihood,ML）;将该或然函数极大化，即可求得到模型参数的极大或然估计量。;由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：;可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。;用离差形式的数据xi，yi计算

显然这些优良的性质依赖于对模型的基本假设。

为第i个样本观测点的残差，即被解释变量的估计值与观测值之差，则随机误差项方差的估计量为：

可以证明，随机误差项方差的无偏估计量为：

随机误差项方差的估计量

可以证明，随机误差项方差的无偏估计量为：

可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。

最大或然法，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。

在一元线性回归模型即是参数和的估计量；

对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。

具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（theBestLinearUnbiasedEstimators）。

(least-squaresestimators)

3、样本回归线的数值性质(numericalproperties)

样本回归线通过Y和X的样本均值；

但是，随机误差项的方差的估计量是不同的。

对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。;3、样本回归线的数值性质(numericalproperties);二、最小二乘参数估计量的统计性质

高斯-马尔可夫定理;当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。;1、线性性：最小二乘参数估计量是Y的线性函数。;2、无偏性：最小二乘参数估计量的均值等于总体回归参数真值。;可以证明，随机误差项方差的无偏估计量为：

样本回归线通过Y和X的样本均值；

2、最大似然法（MaximumLikelihood,ML）

则参数估计量可以写成：

在给定经典线性回归的假定下，最小二乘参数估计量是具有最小方差的线性无偏估计量。

随机误差项方差的估计量

可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。

二、最小二乘参数估计量的统计性质

高斯-马尔可夫定理

3、样本回归线的数值性质(numericalproperties)

在一元线性回归模型即是参数和的估计量；

(Gauss-Markovtheorem)

在一元线性回归模型即是参数和的估计量；

在给定经典线性回归的假定下，最小二乘参数估计量是具有最小方差的线性无偏估计量。

但是，随机误差项的方差的估计量是不同的。

在给定经典线性回归的假定下，最小二乘参数估计量是具有最小方差的线性无偏估计量。;3、有效性：在所有线性无偏估计量中，最小二乘参数估计量具有最小方差。;（2）证明最小方差性;4、结论

普通最小二乘参数估计量具有线性性、无偏性、最小方差性等优良性质。

具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（theBestLinearUnbiasedEstimators）。

显然这些优良的性质依赖于对模型的基本假设。;三、最小二乘参数估计量的概率分布;可以证明，随机误差项方差的无偏估计量为：;例：已知收入X和消费支出Y的如下数据，试估计Y对X的一元线性回归方程，并计算参数估计量的标准差。;谢谢观看！;感谢观看