第3章回归分析2010.ppt

一、穷举法 穷举法就是从所有可能的回归方程中按一定准则选取最优的一个或几个。 对M个自变量，任取其中p-1个自变量建立包含p个回归参数的回归方程，共可建立2M个方程。 按照选取准则，选择最优或较优的方程： 复相关系数准则 修正的复相关系数准则（均方残差准则） Cp准则 预报平方和准则 复相关系数准则 因Rp2随自变量个数增加而增加，所以通过使Rp2达到最大值来选择最优回归方程是无意义的。 实际中，随自变量增加，Rp2一般开始增加较快，后逐渐趋于平缓，即增加自变量已不能显著提高拟合精度。 选取由较快增加到趋于平缓的分界点的Rp2值所对应的回归方程作为最优方程。 利用R2p选择回归方程的准则 拟合所有可能的2M个线性回归方程，并计算各模式的Rp2值。 在包含相同个数自变量的所有回归方程所对应的Rp2值中，选择出Rp2的最大值，再同后一组的最大值作比较，当Rp2值的增加不再显著时，便选择相应Rp2值所对应的回归方程为最优方程。 2.修正的复相关系数准则 考虑尽量少的回归参数个数（包含较少自变量） 利用使Ra2达到最大选择最优回归方程的准则称为修正的复相关系数准则准则。 实际应用中，在一定精度要求下，选择MSEp接近于最小且包含最少自变量的回归方程最为最优方程。 3.Cp准则 若包含p-1个自变量的线性模型已经能很好的拟合所有数据，则可证明： E(Cp) ≈(n-p)-(n-2p)=p 由此可见，对于拟合较好的回归方程，其Cp值应和p值相差不大。 利用Cp值选择最优方程的方法 对所有可能的回归方程，计算其Cp值 作出Cp图，在图中最靠近直线Cp=p的点所对应的回归方程被认为是最优回归方程。 Cp图：将（p，Cp）绘在以Cp为纵坐标，p为横坐标的直角坐标系中。 4.预报平方和（PRESSp）准则 预报误差： 二、逐步回归法 基本步骤：依次拟合一系列回归方程，后一个是在前一个的基础上增加或删除一个自变量，其增加或删除自变量的准则是用残差平方和的增加或减少量来衡量，一般采用偏F检验统计量。 第1 步 第2步 第3步 重复以上步骤，直到没有自变量能进入模型，同时已在模型中的自变量均不能剔除，则选择过程结束，最后一个模型即认为是最优模型。 书*例3.5 3.3.3 系统建模过程概述 数据的收集和预分析 回归方程的选取 模型的精细分析 模型的确认 数据的收集和预分析 根据专业知识，确定可能的自变量与应变量。 收集数据，至少为可能自变量数目的6~10倍。 仔细检查，剔除错误和异常值。 预分析，首先可对所有可能自变量拟合回归方程，再进行残差分析。 回归方程的选取 自变量较少时：穷举法 自变量较多时：逐步回归法 一方面考虑自变量的数目不宜过多，以利于实际应用； 另一方面自变量数目不能太少，而不能反映问题本质。 模型的精细分析 残差分析 回归关系显著性； 误差的正态性、等方差性假定的合理性； 高次项、交叉乘积项等？ 残差图，考察被剔除自变量的合理性。 模型的确认 适用性、稳定性以及预报能力。 收集新数据，检验模型稳定性与预报能力。 模型结果与理论期望值、经验结果或模拟结果比较，检验模型适用性。 若收集新数据有困难，则将原数据（样本数较多）分为两部分：一部分用作模拟，一部分用作检验。 与样本数（N个）直接相关 与拟合系数（p个）直接相关 (N-1)-(p-1) 方差分析表 2）线性回归关系的显著性检验 3）检验p值 对线性回归关系的显著性检验问题，其p值为： 2、回归参数的统计推断 回归关系显著并不意味着每个自变量Xk对Y的影响都显著。 总希望剔除对Y不显著的自变量，建立简单有效的回归方程。 因此，需要对每个Xk对Y的影响进行显著性检验。 Xk的显著性检验 若Xk对Y无影响，则系数βk应为0。因此，建立检验假设， 其检验p值为： 回归统计 whichstats = {tstat,yhat,r,fstat,standres}; stats=regstats(y,x,linear,whichstats) stats = source: regstats yhat: [15x1 double] r: [15x1 double] standres: [15x1 double] tstat: [1x1 struct] fstat: [1x1 struct] 例3.1 地区 销量 人口 人均收入 1 162 274 2450 2 120 180 3254 3 223 375 3802 4 131 205 2838 5 67 86 2347 6 169 265 3782 7 81 98 3008 8 192 330 2450 9 116 195 2