实验优化设计-一元线性回归.pptVIP

实验优化设计 叶春生 华中科技大学材料科学与工程学院 csye@mail.hust.edu.cn Tel:027 第3章 一元线性回归 3.1变量间关系的度量 3.2一元线性回归 3.3利用回归方程进行估计和预测 3.4残差分析 随机向量的数字特征 期望 3.1变量间关系的度量 1.变量间关系 2.相关关系的描述与测度 3.相关关系的显著性检验 1.变量间关系 2.相关关系的描述与测度 3.相关关系的显著性检验 1.一元线性回归模型 2.参数的最小二乘估计 例3.2 合金的强度y (×107Pa) 与合金中碳的含量x (%) 有关。为研究两个变量间的关系。首先是收集数据，我们把收集到的数据记为(xi,yi),i=1,2,?,n。本例中，我们收集到12组数据，列于表3.2中 表3.2 合金钢强度y与碳含量x的数据 为找出两个量间存在的回归函数的形式，可以画一张图：把每一对数(xi,yi)看成直角坐标系中的一个点，在图上画出n个点，称这张图为散点图，见图3.2 从散点图我们发现12个点基本在一条直线附近，这说明两个变量之间有一个线性相关关系，这个相关关系可以表示为 y=?0+?1x+? (1) 这便是y关于x的一元线性回归的数据结构式。通常假定 E(?) =0, Var(?) = ? 2 (2) 在对未知参数作区间估计或假设检验时，还需要假定误差服从正态分布，即 y ~N(?0+ ?1x, ? 2 ) (3) 显然，假定(3) 比 (2) 要强。 由于 ?0, ?1均未知，需要我们从收集到的数据(xi,yi)，i=1,2,…,n，出发进行估计。在收集数据时，我们一般要求观察独立地进行， 即假定y1, y2,?, yn,相互独立。综合上述诸项假定，我们可以给出最简单、常用的一元线性回归的数学模型： 由数据(xi,yi)，i=1,2,…,n，可以获得?0, ?1的估计 ，称 为y关于x的经验回归函数，简称为回归方程，其图形称为回归直线。给定x=x0后， 称 为回归值（在不同场合也称其为拟合值、预测值）。 表3 例3.3的计算表 一元线性回归模型的经典假设 （1） E(ui)=0 (i=1,2,….,n)，残差分布均值为零。 这个假设的具体涵义是：虽然随机因素对因变量有影响，但从平均意义上来说，其影响为零，从而因变量的平均水平（期望）完全由解释变量确定。 由此可得：E（Y|X）= b0+b1X ，称为总体回归函数。 （2） Var(ui)=?2 (i=1,2,……，n)随机扰动项方差恒定，称为同方差。 这个假设的具体涵义是：虽然各个随机扰动项的取值是不同的，但是其方差是相同的。违背该假定就称为异方差，我们后面专门对其进行研究。 3.回归直线的拟合优度 4.显著性检验 三种检验的关系 在一元线性回归分析中，回归系数显著性的t检验、回归方程显著性的F检验，相关系数显著性 t检验，三者等价的，检验结果是完全一致的。 对一元线性回归，只做其中的一种检验即可。 9.4残差分析 1 用残差证实模型的假定 2 用残差检测异常值和有影响的观测值 本章小节 一、变量间关系的种类； 二、相关系数的计算、评价及检验 三、回归模型、回归方程、估计回归方程的概念，回归方程参数的最小二乘估计； 四、判定系数、估计标准误差的计算，及线性关系检验及回归系数的检验 五、残差分析 (2)变差的分解(图示) x y { } } ? (3)离差平方和的分解(三个平方和的关系) SST = SSR + SSE 总平方和 (SST) { 回归平方和 (SSR) 残差平方和 (SSE) { { 1.总平方和(SST) 反映因变量的 n 个观察值与其均值的总离差 2.回归平方和(SSR） （SSR：sum of squares for regression) 反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系