(34)一元线性回归.docxVIP

PAGE

PAGE25

第六章回归分析

引言：

回归分析是数理统计学的一个重要组成部分。它的任务是研究变量之间的相互关系，建立变量之间的经验公式，以便达到预测和控制*的目的。

函数关系：y=f(x)，

例如：正方形的边长x，面积y=x2；

球的半径x，球的体积。

相关关系：y=f(x)+?，

例如：一个人的身高x与体重y的关系。

模型：y=f(x)+?（*）

其中x是普通变量（非随机），y是随机变量，E?=0。

x是一维变量时，称为一元回归模型；

x是多维变量时，称为多元回归模型。

f(x)称为y对x的回归函数；

y=f(x)称为y对x的回归方程。

x称为自变量，或解释变量；

y称为因变量、被解释变量或响应变量。

f(x)为线性函数的情形，称为线性回归。

一元线性回归模型：

，

其中?0、?1是未知参数，?是随机误差，假设?~N(0,?2)；

多元线性回归模型：

，（p1）

其中?0，?1，…，?p是未知参数，?是随机误差，假设?~N(0,?2)。

§6.1一元线性回归

本节内容分四个部分：

1．建立一元线性回归模型：

，?~N(0,?2)；

2．估计未知参数?0、?1和?2，得到经验回归方程

；

3．检验H0:?1=0，H1:?1≠0；

4．若?1≠0，将经验回归方程用于预测。

模型

例：从某个年龄男孩中任意挑选10名，测量他们的身高和体重得数据：

身高x(cm)

157

167

165

158

155

156

164

160

158

163

体重y(kg)

46

55

52

46

42

45

49

47

44

49

体重y随身高x的增长而直线增长的趋势可描述为：

。

其中，?0、?1为常数，?为随机变量，且E?=0。

记身高为xi的学生体重为yi，（yi是随机变量），则

，（）。

其中，?1,?2,…,?10独立，假定?i~N(0,?2)，（），?2未知。

上面例子中，x1=157，y1有一个取值46；

x2=167，y2有一个取值55；

…

x10=163，y10有一个取值49；

问题的一般提法：

，（1）

假定。

对应于x的n个不全相同的值x1,x2,…,xn，有n个随机变量y1,y2,…,yn，有

，（）（2）

其中，独立，，（），

?0、?1、?2是未知参数。

通常称（2）为一元线性回归模型，而（1）称为理论模型。

参数?0、?1和?2的估计

1．?0、?1的最小二乘估计

若b0，b1，则yi有预测值，

（）。

观测值：，，…，

预测值：，，…，

以下确定b0、b1使得最小。

记，，

则

+b12

-2b1

其中，，。

所以，当

b1（*）

b0

时，即最小。

使得最小的b0、b1称为?0、?1的

最小二乘估计量。即

b1，b0。

称为y关于x的经验回归方程，其图形称为回归直线。

由

得，

有回归直线必通过散点图的几何中心。

记，，称为y在x=xi处的预测值（拟合值或回归值）。

2．?2的估计

（1）残差平方和

SSe=

称为残差平方和（或剩余平方和）。

这里b0,b1由（*）确定。

残差平方和的计算：

SSe=+b12-2b1

=+b12-2b1

=-b12

。

（注意：上式中的，

不是样本方差）

（2）?2的估计

SSe==，

可以证明：，（参看浙大教材）。

所以，

?2有无偏估计：

。

（教材P169记为，

称为回归剩余标准差）

3．最小二乘估计量b0、b1是?0、?1的无偏估计：

模型：，（），

E(yi)=?0+?1xi，

=?0+?1，

E(b1)=E

?1

E(b0)=E=(?0+?1)-E(b1)=?0。

即b0、b1是?0、?1的无偏估计（最小方差线性无偏估计）。

/*：

注意到：，（）

其中，独立。所以，

，

，

有

（）

且y1,y2,…,yn独立。所以，

即b1是独立正态变量y1,y2,…,yn的线性组合，

b1服从正态分布。

可见，的取值越分散越好。*/

4．b0、b1的计算：

b1的分子：

；

b1的分母：，

所以，，

例：从某个年龄男孩中任意挑选10名，测量他们的身高和体重得数据：

身高x(cm)

157

167

165

158

155

156

164

160

158

163

体重y(kg)

46

55

52

46

42

45

49

47

44

49

求体重关于身高的经验回归方程。

解：

n=10，，，

，，

，

=0.8808，

=-93.56。

为男生体重关于身高的经验回归方程。