方差分析及回归分析.docxVIP

- - 第九章 回归分析 教学要求 1．一元线性回归及线性相关显著性的检验法， 利用线性回归方程进行预测。 2．可线性化的非线性回归问题及简单的多元线性回归。 本章重点：理解线性模型，回归模型的概念，掌握线性模型中参数估计的最小二乘法估计法。 教学手段：讲练结合 课时分配： 6 课时 §9.1 一元线性回归 回归分析是研究变量之间相关关系的一种统计推断法。 例如，人的血压 y 与年龄 x 有关，这里 x 是一个普通变量， y 是随机变量。 Y 与 x 之间的相依关系 f(x)受随机误差 的干扰使之不能完全确定，故可设有： y f ( x)  （9.1） 式中 f(x)称作回归函数， 为随机误差或随机干扰，它是一个分布与 x 无关 的随机变量，我们常假定它是均值为 0 的正态变量。为估计未知的回归函数 f(x)，我们通过 n 次独立观测，得 x 与 y 的 n 对实测数据 (xi,yi)i=1,?? ,n，对 f(x)作估计。 实际中常遇到的是多个自变量的情形。 例如 在考察某化学反应时，发现反应速度 y 与催化剂用量 x1,反应温度 x2, 所加压力 x3 等等多种因素有关。 这里 x1,x2,??都是可控制的普通变量， y 是随机变量，y 与诸 xi 间的依存关系受随机干扰和随机误差的影响， 使之不能完全确定，故可假设有： y f ( x1 , x2 ,  , xk )  (9.2) 这里 是不可观察的随机误差，它是分布与  x1,?? ,xk  无关的随机变量，一 般设其均值为 0，这里的多元函数 f(x1,?? ,xk)称为回归函数，为了估计未知的回归函数，同样可作 n 次独立观察，基于观测值去估计 f(x1,?? ,xk)。 以下的讨论中我们总称自变量 x1,x2,?? ,xk 为控制变量， y 为响应变量， 不难想象，如对回归函数 f(x 1,?? ,xk)的形式不作任何假设， 问题过于一般， 将难以处理，所以本章将主要讨论 y 和控制变量 x1,x2,?? ,xk 呈现线性相关关系的情形，即假定 f(x1,?? ,xk)=b0+b 1x1+ ?? +bkxk。 并称由它确定的模型 (9.1) (k=1)及(9.2)为线性回归模型 ，对于线性回归模型，估计回归函数 f(x1,?? ,xk)就转化为估计系数 b0、bi(i=1,?? ,k) 。 当线性回归模型只有一个控制变量时， 称为一元线性回归模型， 有多个控制变量时称为多元线性回归模型， 本着由浅入深的原则， 我们重点讨论一元的， 在此基础上简单介绍多元的。 § 9.1.1 一元线性回归 一、一元线性回归的数学模型 前面我们曾提到，在一元线性回归中，有两个变量，其中 x 是可观测、可控 制的普通变量，常称它为自变量或控制变量， y 为随机变量，常称其为因变量或 响应变量。通过散点图或计算相关系数判定 y 与 x 之间存在着显著的线性相关关 系，即 y 与 x 之间存在如下关系： y=a+bx+ (9.3) 通常认为 2 2 ～N(0,σ)且假设σ 与 x 无关。将观测数据 (xi,yi)(i=1，??， n)代 入 (9.3)再注意样本为简单随机样本得： yi a bxi i (i 1, ,n) (9.4) 1 , n独立同分布 N (0, 2 ) 称(9.3)或(9.4)(又称为数据结构式 )所确定的模型为一元 (正态 )线性回归模型。 对其进行统计分析称为一元线性回归分析。 不难理解 模型 (9.4)中 EY=a+bx ，若记 y=E(Y),则 y=a+bx,就是所谓的一元线性回归方程，其图象就是回归直线， b 为回归系数， a 称为回归常数，有时也通称 a、 b 为回归系数。 我们对一元线性回归模型主要讨论如下的三项问题： ， 2 ? ?称为样本回归系数或经验回归 和σ进行点估计，估计量 (1) 对参数 a b a, b 系数，而 y? a? bx? 称为经验回归直线方程，其图形相应地称为经验回归直线。 在模型 (9.3)下检验 y 与 x 之间是否线性相关。 (3) 利用求得的经验回归直线，通过 x 对 y 进行预测或控制。 二、 a、b 的最小二乘估计、经验公式 现讨论如何根据观测值 (xi,yi)， i=1,2,?? ,n 估计模型（ 9.2）中回归函数 f(x)=a+bx 中的回归系数。 采用最小二乘法，记平方和 n Q ( a, b) ( yt a bx t ) 2 (9.5) t 1 找使 Q(a.b)达到最小的 a、b 作为其估计，即 ? ? Q( a, b) min Q( a,b) a.b 2Q n [ yt a bxt ] 0 2 2 为此，令 a t 1 2Q n a bxt ) xt 0 2 ( yt 2b