第七章 回归分析.pptVIP

第七章 回归分析Regression Analysis 安徽大学数学科学院 第七章 回归分析 问题的提出 事物间的联系和相互影响是普遍的 这种相互影响的抽象为：两变量或多变量间的数量关系 这种关系可以是线性相关的，也可能是非线性相关的 回归模型用来揭示变量间的关系 1885年，弗朗西斯·盖尔敦先生为说明人类传宗接代，其身高趋势时首先使用回归（REGRESSION）这一术语。即人类身体尺寸并不是按其父母的尺寸发展的，而是趋于人类身体尺寸的平均值，也可以说是回归于平均值。 回归现象在大自然中是一种普遍现象。如地球上的春夏秋冬，某一生态系统如兔子和野狼系统，兔子增多→野狼增多→兔子减少→野狼减少→兔子增多。社会科学中的分久必和与和久必分等等。很难设想如果没有回归现象世界会是什么样子。在系统科学领域里回归现象称为负的反馈系统。 而最小二乘法的算法早在十九世纪初就由C.F.高斯所建立。A.M.勒让得于一八零五年第一次发表有关著作。然而最小二乘法真正应用到实际中去却是在1960年代。 回归分析是应用最广泛的统计模型之一； 回归分析主要解决三个问题： 回归方程的建立 模型的检验 结果的统计分析 基本要求 独立开发通用的回归分析程序 设计应用于不同回归模型的应用界面 针对数据和条件，选择不同的回归模型解决实际问题 第七章 回归分析 回归模型(regression) 通过一个或几个变量的变化去解释另一变量的变化 包括找出自变量与因变量、设定数学模型、检验模型、估计预测等环节 线性回归模型是为了揭示变量间存在的线性关系 显然随机点密集于回归线，即大部分人群密集于体均值，这也是弗朗西斯·盖尔敦提出的回归这一词的原因，注意在实际中我们是不知道这条回归的，但又是确实存在的。我们所抽的一批样本（x1，y1），（x2，x2），……，（xN，yN）可以认为是回归线这一规律释放信息，我们利用这些信息在某种准则下建立一个样本回归线，用它来作为回归线的估计线，或称样本回归。 线性回归模型及其矩阵表示 最小二乘估计的推导 最小二乘估计的性质 正则条件（理想条件） 若模型（7.2.3）满足正则条件。若模型（7.2.3）满足以下条件，即误差项满足： 具有0均值 互不相关，且具有等方差（方差一致） 我们知道最小二乘估计只是回归系数B的一个估计量，事实上回归系数B有各种各样道估计量，如岭估计，稳健估计，最小一乘估计等。那么最小二乘估计与其他的估计比较有哪些优点？ 3、如果对误差项再增加一些条件，即来自正态总体且相互独立。则最小二乘估计是所有无偏估计中方差最小的，换句话说是所有无偏估计中最好的，又称为UMVUE（Uniformly Minimum Variance in the class of all Unbiased Estimators）。证明见陈希孺著《数理统计引论》。 4.误差方差?2的估计 第七章 回归分析 既然最小二乘估计是所有线性估计中最好的，我们对一批数据只需用最小二乘估计拟合不就行了吗？这里我们必需强调，最小二乘估计的优良性只是在一定的条件下，即在正则条件下才具有。而真正从实际中抽得的数据往往不一定满足正则条件的。因此我们要对拟合程度的好坏进行诊断。从而找出最佳的估计模型。回归诊断是由于计算机的普及和发展而产生的新兴学科。包括残差分析，最优模型判别准则，多元共线的判别等等。 一个典型的最小二乘估计不一定好的例子 当矩阵X的列存在高度线性相关时，矩阵不满秩，从而其逆不存在或者是病态的，即最小二乘估计不准确，当然我们的抽样遇到变量之间完全相关的情况极少见。但相关程度非常大则经常发生，特别是有关经济方面的数据，这一现象将导致估计量的方差极大的膨胀，致使结果不可信，有关方差膨胀问题我们将在后面详细介绍。 从上例子可以看出，如不仔细检查数据而随意用最小二乘估计进行拟合有时会犯很大的错误的。 回归诊断包括： 参数诊数 残差分析 最优模型选择 多元共线检查 参数诊断 回归关系的显著性检验 为了检验Y与X1,X2,…,Xm-1之间是否存在显著的线性回归关系，即检验假设： 这是因为若假设H0成立，那么 ，即Y与X1,X2,…,Xm-1之间不存在线性关系。 有了p值后，对于给定的显著性水平a，任何检验准则均为： 　　　若 pa ，则拒绝H0 　　　若p=a，则接受H0 　这样不需要查相应分布的分位数表，直接根据数据分析软件输出的p值和给定的a值，就能够判断接受还是拒绝H0 回归参数的统计推断 回归关系显著并不意味着每个字变量X1,X2,…,Xm-1对Y的影响都显著。可能其中的某个或某些对Y的影响不显著。 一般说来，我们总希望从回归方程中剔除那些对Y的影响不显著的自变量，从而建立一