多重多元回归分析.docVIP

第十一章 多重多元回归分析 普通回归分析是大家比较熟悉的一种方法，这里将借助复习初等数量统计中多元回归分析的主要内容，相应给出多重多元回归分析的主要内容（包括回归模型、回归式的求法、回归系数的检验等）。而不做复杂的数学推导，仅给出相应的结论，但从中可以看出一元回归、多元回归、多元逐步回归都是本章所要介绍的多重多元回归和双重筛选逐步回归的特例。为了突出重点，略去普通多元回归分析中相重复的内容，如偏相关系数、复相关系数等。 §11.1 什么是多重多元回归分析 在实际问题中，经常需要同时考虑多个因变量对多个自变量的相互依赖关系，例如在工厂中要同时考察某产品的质量指标，而反映产品的质量指标往往是好几个，于是产品的质量指标可作为多个因变量，而影响产品的质量指标的因素显然更有多个可作为多个自变量，如何从数量上揭示这种相互依赖关系，又如何建立它们的回归式以及预测预报就是一个多重多元回归分析问题；在商品需求研究中，同时考察某些商品销售量与商品的价格、消费者的收入等之间的相互依赖关系；在环境科学中研究多种污染气体（CO、CO2、SO2）的浓度与污染源的排放量和气象因子（风向、风速、温度、湿度）等之间的相互依赖关系等，都属于多重多元回归分析问题，这方面的实例到处可见，不胜枚举。 为了给出多重多元回归模型以及回归系数估计、假设检验等，先复习有关初等数理统计中一元回归和多元回归。 一元回归数学模型： 为了估计回归方程的系数，给出n组观测数据：，代入上式得： …… 在古典线性回归模型中，根据中心极限定理通常假定，在一般情况下，只假定模型满足：（对所有i）及。 用最小二乘法求、的估计，为此解方程组： 其中，为误差平方和，其中。 可得： 这里 多元回归数学模型： n组观测数据： …… 代入上式得： …… 其中，独立且 用矩阵表示： 简写为 用最小二乘法求的估计，为此，令 其中 为误差平方和 其中 可得： 1 多重多元回归的数学模型 由于线性回归模型应用面是很广的，许多非线性回归问题可以通过引进新变量化线性回归。因此，下面给出多重多元线性回归模型。 设有m个自变量，对应p个因变量，假定它们之间有线性关系式： …… 其中是未知参数，是随机误差项，它们不是相互独立的，通常假设它们服从多元正态分布即 其中为未知的协差阵。 由于用矩阵来研究多元线性回归较方便，因此上述数学模型写成矩阵形式如下： 统计问题就是从已知的m个自变量，p个因变量的n组实测数据出发，求未知常数的估计值，并对误差作出估计和推断。 和一元统计分析一样，将略出误差项而得到的关系式： 称为回归方程，称为回归系数，称为常数项。 设有n组自变量与因变量的实测数据： …… 将数据写成矩阵分别用X，Y表示： ， 将n组数据代入到多元回归模型中即有： 记 于是多重多元线性回归模型可写成： 的各行向量是相互独立且同分布。 （注意：组与组之间的随机误差项是相互独立的，但组内可以是不独立的，即每一行内部可以是不独立的。） 2 多重多元回归式的求法 和一个因变量的多元回归分析一样，这里用最小二乘法求的估计，我们如此地选择的值使误差阵各元素平方和相加达到最小，即使 最小 为此用拉直法以及利用矩阵四块求逆公式可得回归系数的估计值如下： 其中是相应于回归常数组成的向量，是回归系数组成的矩阵； ?? ?? ?? 类似之差称为残差，于是得残差阵： 其中 可以证明下述统计性质： 是的无偏估计量。 是的无偏估计量。 3 回归系数向量的假设检验（在正态假定下） 一元统计中多元回归系数检验是： 统计量： 其中为偏回归平方和。 对多重多元回归，同样需要考察某一部分自变量对p个因变量的影响是否显著的问题，为此考虑模型： 其中 X1为阶阵，X2为阶阵，； 为阶阵，为阶阵。 判断对p个因变量作用是否显著的问题，即要检验假设 检验统计量： 其中 如果拒绝H0，则认为这一部分自变量对p个因变量是有作用的；如果H0不能拒绝，则认为这一部分自变量对p个因变量是不起作用的。 §11.2 双重筛选逐步回归分析 从上面介绍的内容可以看出多重多元回归分析的计算工作量是很大的，要用手算是很困难的，一般都用计算机去完成。 虽然多重多元回归问题，也可以化为多个自变量对每一个因变量逐步个进行回归去建立回归式，但这种做法会丢失多个因变量之间相关的信息，因此必须设法提取这些有关信息，双重筛选逐步回归就可以解决这个问题。 1 什么是双重筛选逐步回归 多个自变量与多个因变量建立回归式时，不仅对自变量进行筛选，而且对因变量也同时进行筛选，所谓筛选即保留与之有密切关系的变量，剔除与之无关紧要的变量，并且依因变量和自变量的关系将因变量进行分组。例如研究自变量对因变量的回归时，如自变量的一部分仅