多元线性回归分析的基本思想及方法.docVIP

第一节 引言 ??? 在第一章我们讨论了因变量y只与一个自变量x有关的一元线性回归问题。但在实际中我们常常会遇到因变量y与多个自变量有关的情况，这就向我们提出了多元回归分析的问题。多元回归中最简单的是多元线性回归。多元线性回归分析的基本思想和方法与一元线性回归分析是相同的，即使残差平方和Q达到最小值。但是，由于多元线性回归分析涉及多个变量之间的相关关系，使问题变得更加复杂。 ??? 假设随机变量y与p个自变量之间存在着线性相关关系，实际样本量为n,其第i次观测值为 ??? 则其n次观测值可写为如下形式： ???? （2-2-1） ??? 其中 是未知参数， 是p个可以精确测量并可控制的一般变量, 是随机误差。和一元线性回归分析一样，我们假定 是相互独立且服从同一正态分布N(0, )的随机变量 。 ??? 若将方程组(2-2-1)用矩阵表示，则有 （2-2-2） ??? 式中 ?多元线性回归分析的首要任务就是通过寻求 的估计值b，建立多元线性回归方程 （2-2-3） ??? 来描述多元线性模型 ???? （2-2-4） ??? 本章主要介绍以下内容：用最小二乘原理估计 和 ，对回归方程和回归系数的显著性进行检验，利用回归方程进行予报和控制，以及在估计 的过程中解线性方程组要用到的高斯消去法和消去变换。 第二节 多元线性回归方程的建立 ??? 建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解 使全部观测值 与回归值 的残差平方和达到最小值。由于残差平方和 （2-2-5） ??? 是 的非负二次式，所以它的最小值一定存在。 ??? 根据极值原理，当Q取得极值时， 应满足 ??? 由（2-2-5）式，即满足 （2-2-6） ??? (2-2-6）式称为正规方程组。它可以化为以下形式 （2-2-7） ??? 如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有 （2-2-8） 　 ?式中X是多元线性回归模型中数据的结构矩阵， 是结构矩阵X的转置矩阵。 ?(2-2-7)式右端常数项也可用矩阵D来表示 ??? 即 ??? 因此(2-2-7)式可写成 Ab=D （2-2-10） ??? 或 （2-2-11） 如果A满秩（即A的行列式 ）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得 的最小二乘估计为 （2-2-12） ??也就是多元线性回归方程的回归系数。 ? 为了计算方便往往并不先求 ，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为 （2-2-13） ??? 式中 （2-2-14） ??? 将（2-2-13）式代入（2-2-7）式中的其余各方程，得 （2-2-15） ??? 其中 （2-2-16） ??? 将方程组（2-2-15）式用矩阵表示，则有 Lb=F （2-2-17） ??? 其中 ??? 于是 b=L-1F （2-2-18） ? 因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。 ? 例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1, x2, x3的线性回归方程? 。 表2-2-1 土壤含磷情况观察数据 ??? 计算如下： ??? 由(2-2-16)式 ? ? ?代入(2-2-15)式得 （2-2-19） ??? 若用克莱姆法则解上述方程组，则其解为 （2-2-20） ??? 其中 ??? 计算得 b1=1.7848，b2=-0.0834，b3=0.1611 ???? 回归方程为 ? 应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和