CH5-回归分析.ppt

第5章 回归分析 1、引言 回归分析是处理变量之间相关关系的一种数学方法。即用一个或一组变量（自变量）去估计或表达另一个变量（因变量），这在自然科学、社会科学中有广泛应用。 2 历史背景 十九世纪，英国生物学家兼统计学家高尔顿研究父与子的身高关系发现： 其中x表示父亲身高， y 表示成年儿子的身高。这表明子代的平均高度有向中心回归的趋势，使得一段时间内人的身高相对稳定。之后回归分析的思想渗透到了数理统计的其它分支中，并得到广泛应用。 2、背景与问题 现实世界有两类变量关系：一类是确定关系，即一个量由另一个量完全确定，如 圆的面积： 收入额： 一般地: 另一类变量与变量是非确定关系，如 身高与体重的关系； 身高与脚长的关系； 成绩与学习时间关系；这种关系称为相关关系。 5.2.2 一元线性回归模型 设y与x间有相关关系，称x为自变量，y为随机变量，在知道 x取值后，y有一个分布p(y?x)，我们关心的是y的均值E(y?x)： 也就是要寻找的相关关系的表达式—回归函数。 通常，相关关系可用下式表示 y =f (x)+ ? =E(y|x) + ? 最简单关系式： y =?0+ ?1x+ ? 即 E(y|x) = ?0+ ?1x 5.2.2 一元线性回归模型 y =?0+ ?1x+ ? （5.1） 其中?是随机误差 一般假设 ? ~N(0, ? 2)。 ?0和 ?1是待估计的未知参数,称为回归系数。 例5.1 合金的强度y (×107Pa) 与合金中碳的含量x (%) 有关。为研究两个变量间的关系。首先是收集数据，我们把收集到的数据记为(xi,yi),i=1,2,?,n。本例中，我们收集到12组数据，列于表5.1中 表5.1 合金钢强度y与碳含量x的数据 为找出两个量间存在的回归函数的形式，可以画一张图：把每一对数(xi,yi)看成直角坐标系中的一个点，在图上画出n个点，称这张图为散点图，见图 从散点图我们发现12个点基本在一条直线附近，这说明两个变量之间有一个线性相关关系，这个相关关系可以表示为 y =?0+ ?1x+ ? (5.2) 这是y关于x的一元线性回归的数据结构式。通常假定 E(?) =0, Var(?) = ? 2 (5.3) 在对未知参数作区间估计或假设检验时，还需要假定误差服从正态分布，即 ? ~N(0, ? 2 ) y ~N(?0+ ?1x, ? 2 ) (5.4) 显然，假定(5.4) 比 (5.3) 要强。 由于 ?0, ?1均未知，需要我们从收集到的数据(xi,yi)，i=1,2,…,n，（样本）出发进行估计。在收集数据时，我们一般要求观察独立地进行， 即假定y1, y2,?, yn,相互独立。综合上述诸项假定，可以给出最简单、常用的一元线性回归的数学模型： (5.5) 由数据(xi,yi)，i=1,2,…,n，可以获得?0, ?1的估计 ，称 (5.6) 为y关于x的经验回归函数，简称为回归方程，其图形称为回归直线。 给定x=x0，称 为回归值（也称为拟合值、预测值）。 5.2.3 回归系数的最小二乘估计