《概率论与数理统计》第8章 回归分析.pptVIP

第八章 回归分析 §8.1 一元线性回归方程 §8.2 回归效果的显著性检验 §8.3 一元非线性回归 §8.4 预测与控制 §8.1 一元线性回归方程 8.1.1 变量间的两类关系 十九世纪，英国生物学家兼统计学家高尔顿研究发现： 其中x表示父亲身高， y 表示成年儿子的身高（单位：英寸，1英寸=2.54厘米）。这表明子代的平均高度有向中心回归的意思，使得一段时间内人的身高相对稳定。之后回归分析的思想渗透到了数理统计的其它分支中。 8.1.2 一元线性回归模型 设y与x间有相关关系，称x为自变量(预报变量)，y为因变量(响应变量)，在知道x取值后，y有一个分布p(y?x)，我们关心的是y的均值E(Y?x)： (8.1.1) 这便是y关于x的理论回归函数——条件期望，也就是我们要寻找的相关关系的表达式。 通常，相关关系可用下式表示 y =f (x)+ ? 其中?是随机误差，一般假设? ~N(0, ? 2)。 例8.1.1 合金的强度y (×107Pa) 与合金中碳的含量x (%) 有关。为研究两个变量间的关系。首先是收集数据，我们把收集到的数据记为(xi,yi),i=1,2,?,n。本例中，我们收集到12组数据，列于表8.1.1中 表8.1.1 合金钢强度y与碳含量x的数据 为找出两个量间存在的回归函数的形式，可以画一张图：把每一对数(xi,yi)看成直角坐标系中的一个点，在图上画出n个点，称这张图为散点图，见图8.4.1 从散点图我们发现12个点基本在一条直线附近，这说明两个变量之间有一个线性相关关系，这个相关关系可以表示为 y =?0+ ?1x+ ? (8.1.2) 这便是y关于x的一元线性回归的数据结构式。通常假定 E(?) =0, Var(?) = ? 2 (8.1.3) 在对未知参数作区间估计或假设检验时，还需要假定误差服从正态分布，即 y ~N(?0+ ?1x, ? 2 ) (8.1.4) 显然，假定(8.1.4) 比 (8.1.3) 要强。 由于 ?0, ?1均未知，需要我们从收集到的数据(xi,yi)，i=1,2,…,n，出发进行估计。在收集数据时，我们一般要求观察独立地进行， 即假定y1, y2,?, yn,相互独立。综合上述诸项假定，我们可以给出最简单、常用的一元线性回归的数学模型： (8.1.5) 由数据(xi,yi)，i=1,2,…,n，可以获得?0, ?1的估计 ，称 (8.1.6) 为y关于x的经验回归函数，简称为回归方程，其图形称为回归直线。给定x=x0后， 称 为回归值（在不同场合也称其为拟合值、预测值）。 8.1.3 回归系数的最小二乘估计 一般采用最小二乘方法估计模型(8.4.5)中的?0, ?1 ：令： 应该满足 称这样得到的 称为?0, ?1的最小二乘估计，记为LSE。 最小二乘估计可以通过求偏导数并命其为0而得到： (8.1.7) 这组方程称为正规方程组，经过整理，可得 (8.1.8) 解(8.1.8)可得