第三章一元线性回归.docVIP

第三章 一元线性回归 第一节 一元线性回归模型的参数估计 一元线性回归模型其一般形式，即： 如果获得了关于变量和的一个容量为的样本（，），。则每一对（，）都应满足模型（3.1.1），从而有： =++ （ ） 由于是一个未知的随机变量，事先无法确定，为便于对参数进行估计，在经典的一元线性回归分析中，一般作如下假定： （1）对每个i，E（）=0 （i=12，……，n），即随机误差项分布的均值为零。 这个假设的具体含义是：虽然随机因素对被解释变量有影响，但从平均意义上来说，其影响为零，从而在给定的情况下，的平均水平完全由解释变量确定。 （2）Var（）= （i=1,2, （3）Cov（，）=0，（任意i≠j，i，j =1,2, ……，n），即随机误差项之间互不 相关。 这个假定的具体含义是：对应于任意两个不同的值，随机误差项互不相关，因而各个被解释变量之间也是不相关的。 （4）解释变量是非随机的，换句话说，在重复抽样下，的取值是确定不变的。 这个假定的具体含义是：解释变量是可观察的，确定的，因而有Cov（，）=0，称为随机解释变量。 以上假定就是著名的高斯—马尔科夫假定或者称为回归分析的经典假定。特别地，称满足以上四条假定的线性回归模型为标准回归模型。 为了对参数的估计量进行统计推断，需进一步对假定如下： （5）～N（0，），即随机误差项服从均值为0,方差为的正态分布。 根据以上五条假定，可以推出以下结论： （1）E）=+ （2）Var（）=i=1,2, ……，n） （3）Cov（）=0，（任意i≠j，i，j =1,2, ……， n） 4）服从正态分布，且 ～ N（+） 二、参数的最小二乘估计 1、最小二乘法估计的思想 关于参数，的估计必须依据某种准则。那么，依据什么样的准则得到的估计值比较好呢? 假定我们获得了变量和的一个容量为的样本（，），i=1,2, ……，n，并且估计出了参数，，则可在直角坐标系中画出样本回归直线SRF（见图3.1）。为了使得SRF尽可能地接近PRF，一个很自然的想法就是使每一个的估计值都接近真实值。由于=-，所以使每一个的估计值都接近真实值就是使所有的误差项的估计值越小越好。考虑到n个点的拟合误差均应较小，且有正有负，因此，为使所有的都尽可能小，一个自然的想法就是使最小，这就是最小二乘法的基本思想。它的基本思路是：在来自于总体的n个观测点中，试图找到一条直线，使得这些点到这条直线的垂直距离的平方和最小。 令： = 由最小二乘法得到的样本回归直线 2、参数的最小二乘估计 要使达最小，需关于参数，的偏导数为零，即： =0 =0 经整理得下列方程组： 上述方程组称为正规方程组。通过求解得参数，的估计值为： 其中： ， 为便于计算，估计量也常常表示为： 因此，由最小二乘法得到的样本回归方程为： =+ 在上一章例2.2中,假定在每一组中随机抽取一个家庭的资料如下: 10个家庭人均收入和人均消费支出资料80 100 120 140 160 180 200 220 240 260 人均消费（Y） 60 70 84 93 107 120 136 140 165 180 根据上述资料，要求： （1）作和的散点图，并观察它们之间是否具有线性关系。 （2）假定和之间存在线性关系，试估计回归方程。 解： （1）和的散点图如图3.2所示。 图 3.2 和的散点图 （2）估计回归方程。根据所给定的数据，经计算得下表：（.2） 表 3.2 xi yi xiyi x2i y2i 80 60 4800 6400 3600 100 70 7000 10000 4900 120 84 10080 14400 7056 140 93 13020 19600 8649 160 107 17120 25600 11449 180 120 21600 32400 14400 200 136 27200 40000 18496 220 140 30800 48400 19600 240 165 39600 57600 27225 260 180 46800 67600 32400 合计 1700 1155 218020 322000 147775 平均 170 115.5 21802 32200 14777.5 将表3.2中所得数据代入公式得： =115.-0.657×170=3.867 由此得到回归方程为: 该回归方程表明，家庭收入每增加一个单位，消费支出将增加0.657个单位，说明该居民区的居民消费倾向为0.657。 三|、最小二乘估计的性质 1、OLS法得到的回归方程性质 （1）残差的总和等于0，即=0。事实上，