回归分析jiaoan_chb.docVIP

第二章 回归分析 （补充教材） 回归分析是研究变量之间相关关系的一种统计推断法。 例如，人的血压y与年龄x有关，这里x是一个普通变量，y是随机变量。Y与x 之间的相依关系f(x)受随机误差的干扰使之不能完全确定，故可设有： 式中f(x)称作回归函数，为随机误差或随机干扰，它是一个分布与x无关的随机变量，我们常假定它是均值为0的正态变量。为估计未知的回归函数f(x)，我们通过n次独立观测，得x与y的n对实测数据(xi,yi)i=1,……,n，对f(x)作估计。 实际中常遇到的是多个自变量的情形。 例如 在考察某化学反应时，发现反应速度y与催化剂用量x1,反应温度x2,所加压力x3等等多种因素有关。这里x1,x2,……都是可控制的普通变量，y是随机变量，y与诸xi间的依存关系受随机干扰和随机误差的影响，使之不能完全确定，故可假设有： 这里是不可观察的随机误差，它是分布与x1,……,xk无关的随机变量，一般设其均值为0，这里的多元函数f(x1,……,xk)称为回归函数，为了估计未知的回归函数，同样可作n次独立观察，基于观测值去估计f(x1,……,xk)。 以下的讨论中我们总称自变量x1,x2,……,xk为控制变量，y为响应变量，不难想象，如对回归函数f(x1,……,xk)的形式不作任何假设，问题过于一般，将难以处理，所以本章将主要讨论y和控制变量x1,x2,……,xk呈现线性相关关系的情形，即假定 f(x1,……,xk)=b0+b1x1+……+bkxk。 并称由它确定的模型 (k=1)及为线性回归模型，对于线性回归模型，估计回归函数f(x1,……,xk)就转化为估计系数b0、bi(i=1,……,k) 。 当线性回归模型只有一个控制变量时，称为一元线性回归模型，有多个控制变量时称为多元线性回归模型，本着由浅入深原则，我们重点讨论一元的，在此基础上简单介绍多元的。 §2.1 一元线性回归 一、一元线性回归的数学模型(参见教材P23-P24 三) 前面我们曾提到，在一元线性回归中，有两个变量，其中x是可观测、可控制的普通变量，常称它为自变量或控制变量，y为随机变量，常称其为因变量或响应变量。通过散点图或计算相关系数判定y与x之间存在着显著的线性相关关系，即y与x之间存在如下关系： y=a+bx+ (2.1-6) 通常认为 ～N(0,σ2)且假设σ2与x无关。将观测数据(xi,yi)(i=1，……，n)代入(2.1-6)再注意样本为简单随机样本得： (2.1-7) 称(2.1-6)或(2.1-7)(又称为数据结构式)所确定的模型为一元(正态)线性回归模型。对其进行统计分析称为一元线性回归分析。 不难理解 模型(2.1-6)中EY=a+bx，若记y=E(Y),则y=a+bx,就是所谓的一元线性回归方程，其图象就是回归直线，b为回归系数，a称为回归常数，有时也通称a、b为回归系数。 我们对一元线性回归模型主要讨论如下的三项问题： (1) 对参数a，b和σ2进行点估计，估计量称为样本回归系数或经验回归系数，而称为经验回归直线方程，其图形相应地称为经验回归直线。 (2) 在模型(2.1-6)下检验y与x之间是否线性相关。 (3) 利用求得的经验回归直线，通过x对y进行预测或控制。 二、a、b的最小二乘估计、经验公式(参见教材P20-P23) 现讨论如何根据观测值(xi,yi)，i=1,2,……,n估计模型(2.1-6)中回归函数f(x)=a+bx中的回归系数。 采用最小二乘法，记平方和 找使Q(a.b)达到最小的a、b作为其估计，即 为此，令 化简得如教材P21 (2.1-4)所示的方程组(称为模型的正规方程) 解得 （2.1-5） (2.1-5)所示的分别称为a、b的最小二乘估计，式中 称为经验回归(直线方程)，或经验公式。 例1 某种合成纤维的强度与其拉伸倍数有关。下表是24个纤维样品的强度与相应的拉伸倍数的实测记录。试求这两个变量间的经验公式。 编 号 1 2 3 4 5 6 7 8 9 10 11 12 拉伸倍数x 1.9 2.0 2.1 2.5 2.7 2.7 3.5 3.5 4.0 4.0 4.5 4.6 强度y (Mpa) 1.4 1.3 1.8 2.5 2.8 2.5 3.0 2.7 4.0 3.5 4.2 3.5 编 号