一元线性回归精读.pptx

一元线性回归分析回归模型的概念回归模型的概念回归模型的概念一元线性回归分析的原理1.模型假设1.最小二乘估计2.最大似然估计一元线性回归模型的参数估计给定一组样本观测值（Xi,Yi）（i=1,2,…n），要求样本回归函数尽可能好地拟合这组值，即样本回归线上的点与真实观测点的“总体误差”尽可能地小。最小二乘法的基本思想：就是通过使得剩余残差平方和最小，求得回归模型中待估参数的估计值。最小二乘法最小正则方程组最大似然法(MaximumLikelihood,简称ML)，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。最大似然法法基本原理：　当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。最大似然法（ML）最大似然法（ML）将该似然函数极大化，即可求得到模型参数的极大似然估计量。2、最大似然法（ML）由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。随机误差项的方差估计3、样本回归线的数值性质(numericalproperties)