第2节一元线性回归.PPT

统计学 * * * * * * * * * * * * * * * * * * * * * * * 第二节 简单线性回归分析 一、相关分析与回归分析的关系 相关分析和回归分析是研究现象之间相关关系的两种基本方法，二者有着密切的联系，它们不仅具有共同的研究对象，而且在具体运用时，常常需要互相补充。 相关分析与回归分析的联系 相关分析需要依靠回归分析表明现象数量相关的具体形式；而回归分析需要依靠相关分析来表明现象数量变化的相关程度。 只有变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。 第七章第二节 第二节 简单线性回归分析 一、相关分析与回归分析的关系 相关分析与回归分析之间的区别 其一，在相关分析中，只是研究变量之间的相关方向和相关的密切程度，无须确定自变量和因变量；而在回归分析中，必须事先确定哪个为自变量，哪个为因变量，而且只能从自变量去推测因变量，而不能从因变量去推断自变量。 其二，相关分析不能指出变量间相互关系的具体形式，也无法从一个变量的变化推测另一个变量的变化情况；而回归分析能确切地指出变量之间相互关系的具体形式，它可根据回归模型从已知量估计和预测未知量。 其三，相关分析所涉及的变量一般都是随机变量；而回归分析中因变量是随机的，自变量则作为研究时给定的非随机变量。 第七章第二节 第二节 简单线性回归分析 二、一元线性回归模型 (一)总体回归函数 总体一元线性回归模型：从一个总体来看，反映两个变量依存关系的线性回归模型可表示为： Y=β0+β1X+ui （7.5） 在这个模型中，β0和β1是未知的参数，又叫回归系数；ui是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种因素对Y的影响。 随机误差项：实际观测点与总体回归线垂直方向的间隔。 μi=Yi-E(Yi) （7.6） 第七章第二节 第二节 简单线性回归分析 第七章第二节 第二节 简单线性回归分析 (二)误差项的标准假定 假定1∶误差项μ是一个的期望值为0的随机变量，即E(μ)=0。 假定2：对于所有的X值，误差项μi的方差为常数σ2。 假定3：误差项μ是一个服从正态分布的随机变量，且独立，即μ~N(0，σ2)。独立性意味着对于一个特定的X值，它所对应的μ与其他X值所对应的μ不相关，即当t≠s时，协方差Cov(μs，μt)=0。因此，对于一个特定的X值，它所对应的Y值与其他X值所对应的Y值不相关。 假定4：自变量是给定的变量，与随机误差项线性无关。 满足以上标准假定的一元线性模型，称为标准的一元线性回归模型。 第七章第二节 第二节 简单线性回归分析 (三)样本回归函数 样本一元线性回归模型可表示为： （7.7） 式中的 是样本回归线上与Xi相对应的Y值，可视为E(Yi)的估计值； 是样本回归直线的截距， 是样本回归直线的斜率，它们是对总体回归系数β0和β1的估计。 样本回归函数与总体回归函数的差别 第一，总体回归线是未知的，它只有一条。而样本回归线则是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。 第二，总体回归函数中的β0和β1是未知的参数，表现为常数。而样本回归函数中的β0和β1是随机变量，其具体数值随所抽取的样本观测值不同而变动。 第三，总体回归函数中的ui是Yi与未知的总体回归线之间的距离，是不可直接观测的。而样本回归函数中的ei是Yi与样本回归线之间的距离，当根据样本观测值拟合出样本回归线之后，可以计算出ei的具体数值。 第七章第二节 第二节 简单线性回归分析 三、模型参数的估计 (一)回归参数的点估计 所谓最小二乘法就是通过使残差平方和为最小来估计回归系数的一种方法。 根据最小二乘法有： （7.8） 令 ，在给定样本数据后，残差平方和Q是 和 的函数，且Q的最小值总是存在。根据微积分的极值定理，对Q分别求对应于 和 的偏导数，并令其等于零，便可求出 和 ，即： (7.9) 第七章第二节 第二节 简单线性回归分析 经整理，得到以下标准方程组：