逐步回归.pptVIP

1 最优子集回归法 最优子集法的局限性 2 逐步选择法 前进法 后退法 3 逐步回归法 逐步回归的基本思想 从一个自变量开始，将自变量一个一个地引入方程，并且在每一次引入一个自变量时，这个自变量的偏回归平方和，经过检验应该是所有尚未引入回归方程的自变量中最为显著的那一个； 在引入一个新的自变量、建立新的线性回归方程之后，接着对早先引入方程的自变量逐个进行检验，由偏回归平方和最小的自变量开始，将偏回归平方和经过检验不显著的自变量从回归方程中逐个地剔出； 引入自变量与剔出自变量交替进行，直到再也不能引入新的自变量又不能从方程中剔出已列入的自变量为止。 * 逐步回归分析 “最优回归方程”是指： 对因变量有显著作用的自变量，全部选入回归方程； 对因变量无显著作用的自变量，一个也不引入回归方程。 选择”最优回归方程”的方法有: 最优子集回归法 向后剔除法（backward selection） 向前引入法（forward selection） 逐步回归法（stepwise selection）： 求出所有自变量可能组合子集的回归方程的模型（共有2m－1个），按一定准则选择最优模型，常用的准则有： 校正后的决定系数（考虑了自变量的个数） Cp准则（C即criterion，p为所选模型中变量的个数；Cp接近p+1的模型为最优） AIC(Akaike`s Information Criterion)准则；AIC 越小越好 如果自变量个数为4，则所有的回归有24－1＝15个；当自变量数个数为10时，所有可能的回归为 210－1＝ 1023个；……..；当自变量数个数为50时，所有可能的回归为250－1≈1015个。 前进法（forward selection） 后退法（backward elimination） 逐步回归法（stepwise regression）。 它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的F检验 自变量从无到有、从少到多 Y对每一个自变量作直线回归，对回归平方和最大的自变量作F 检验，有意义（P小）则引入。 在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F 检验，…。 局限性：后续变量的引入可能会使先进入方程的自变量变得不重要。 先将全部自变量放入方程，然后逐步剔除 偏回归平方和最小的变量，作F检验及相应的P值，决定它是否剔除（P大） 。 建立新的回归方程。重复上述过程。 局限性：自变量高度相关时，可能得不出正确的结果；开始时剔除的变量即使后来变得有显著性也不能再进入方程。 双向筛选：引入有意义的变量（前进法），剔除无意义变量（后退法），即引入与剔出相互交替，而引入与剔出的根据就是自变量在回归方程中的偏回归平方和。 小样本检验水准α一般定为0.10或0.15，大样本把a值定为0.05。α值越小表示选取自变量的标准越严。 *