一元线性回归模型的参数估计[D].docVIP

一元线性回归模型的参数估计 ----普通最小二乘法 1、什么是一元线性回归模型? 一元回归模型,是最简单的计量经济学模型.在模型中,只有一个解释变量,被解释变量与解释变量之间存在线性关系. 2、一元回归模型的一般形式: yi=β0+β1xi+μi, i=1,2,…n (1) 其中,y是被解释变量,x是解释变量,β0、β1是待定参数,μ是随机误差项,yi,xi是随机抽取的n组样本观测值. 该方程满足如下条件: E(μi)=0 Var(μi)=б2 Cov(μi,μj)=0 Cov(xi,ui)=0 i=1,2,...,n j=1,2,…,n ij 3、模型参数估计的任务 (1)一是求得反映变量之间数量关系的参数(即一元线性回归模型yi=β0+β1xi+μi, i=1,2,…n 中的β0,β1)的估计量; (2)二是求得随机误差项的分布参数. 4、模型参数估计的普通最小二乘法 普通最小二乘法,是应用最多的参数估计方法. (1)什么是最小二乘原理 在已经获得样本观测值yi,xi(i=1,2,…,n)的情况下,假如参数估计量已经求得记为,我们可以得到直线方程: i=1,2,…,n (2) 其中,是被解释变量的估计值,它由参数估计量和解释变量的观测值计算得来. 被解释变量的观测值与估计值,在总体上越接近越好.判断的标准是: 二者之差平方和 最小. 这就是最小二乘原理. [思考]为什么用平方和,而不直接将二者的差简单相加? (2) 从最小二乘原理,根据样本观测值,具体求参数估计值. 由于, = ( ) 我们可以知道,Q是二次函数并且是非负数.所以Q的极小值总是存在的.(为什么?) 根据极值存在的必要条件知, (为什么不是充分条件?) 由此,不难推得: (4) 进而得到: (5) 于是解得 (6) 另外,可以将公式(6)简化变形得 (7) 其中, (3)求随机误差项方差的估计值. 记 为第i个样本观测值的残差.即被解释变量的观测值与估计值之差.则随机误差项方差的估计值为: (8) 证明从略. 至此, 普通最小二乘法一元线性回归模型的参数估计问题得到解决.