天大matlab 大作业 逐步回归分析方法综述.doc

逐步回归分析方法 在实际中，影响Y的因素很多，这些因素可能存在多重共线性（相关性），这就对系数的估计带来不合理的解释，从而影响对Y的分析和预测。 “最优”的回归方程就是包含所有对Y有影响的变量, 而不包含对Y影响不显著的变量回归方程。 选择“最优”的回归方程有以下几种方法： 从所有可能的因子（变量）组合的回归方程中选择最优者； （2）从包含全部变量的回归方程中逐次剔除不显著因子； （3）从一个变量开始，把变量逐个引入方程； （4）“有进有出”的逐步回归分析。 以第四种方法，即逐步回归分析法在筛选变量方面较为理想. 逐步回归分析法的思想： 从一个自变量开始，视自变量Y作用的显著程度，从大到小地依次逐个引入回归方程。 当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。 引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。 对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。 这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。 原理： 1、最优选择的标准 设n为观测样本数， 为所有自变量构成的集合， 为X的子集。 （1）均方误差s2最小 达到最小 （2）预测均方误差最小 达到最小 统计量最小准则 达到最小 （4）AIC或BIC准则 或 达到最小 （5）修正R2准则 达到最大 2、选择最优回归子集的方法 （1）选择最优子集的简便方法： 逐步筛选法（STEPWISE） 向前引入法或 前进法（FORWARD） 向后剔除法或后退法（BACKWARD） （2）计算量最大的全子集法： R2选择法（RSQUARE） Cp选择法（CP） 修正R2选择法（ADJRSQ）。 （3）计算量适中的选择法： 最小R2增量法（MINR） 最大R2增量法（MAXR） 步骤 1、前进法： 事先给定挑选自变量进入方程的显著性水平，按自变量对因变量y的贡献由大到小依次挑选自变量进入方程，直到方程外没有显著的自变量可引入为止。 该方法的特点是：自变量一旦被选入，就永远保留在模型中。 （1）将全部m个自变量，分别与因变量y建立一元回归方程； （2）分别计算这m个一元回归方程中回归系数的检验统计量F，记为： 取最大值 若 停止筛选； 若 选入,不妨设是，进入步骤（3）； 分别将自变量组,,......,与因变量y建立二元回归方程，计算回归方程中x2，x3，…，xm的回归系数检验统计量F，记为： 取其最大值 ， 若 则停止筛选，y与 x1之间的回归方程就是最优的回归方程；若 选进xk2 ，不妨设xk2是 x2，进入步骤（4）。 （4）对已经选入模型的变量，x1，x2，如同前面的方法做下去，直到所有未被选入模型的自变量的F值都小于相应的临界值为止，这时的回归方程就是最优回归方程。 前进法的一般步骤： 假设已进行了l步筛选，并选入自变量x1，x2，…xl，现进行第l+1步筛选： 分别将自变量组 ，，....,与y建立l+1元回归方程；回归方程中的回归系数检验统计量记为： 记 若 停止筛选 ，上一步得到的回归方程，即为最优的回归方程； 若 将选进模型，进行下一步筛选。 前进法的缺点：不能反映自变量选进模型后的变化情况 。 后退法： 事先给定从方程中剔除自变量的显著性水平，开始全部自变量都在模型中，然后按自变量对y的贡献由小到大依次剔除，直至方程中没有不显著的变量可剔除为止。 该方法的特点是：自变量一旦被剔除，就不再进入模型 （1）建立全部自变量x1，x2，…，xm对因变量y的回归方程，对方程中m个自变量的回归系数b1，b2，…，bm进行F检验，相应的F值记为： 取最小值 若 没有自变量可剔除，此时的回归方程就是最优的回归方程 若 剔除xk1，不妨设xk1是xm，进入步骤（2）。 建立x1，x2，…，xm-1与因变量y的回归方程 ，对方程中自变量的回归系数进行F检验，相应的F值记为： 取最小值 若 则无自变量可剔除，此时的回归方程即最优的回归方程； 若 将xk2从模型中剔除，不妨设xk2就是xm-1，进入步骤（3）； （3）重复前面的做法，直至回归方程中各变量回归系数的F值均大于临界值，即方程中没有变量可剔除为止，此时的回归方程就是最优的回归方程。 后退法的一般步骤： 假设已经进行了l步剔除，模型中的自变量为x1，x2，…，xm-l ，现进行第l+1步剔除： 建立x1，x2，…，xm-l 对y的回归方程，对方程中x1，x2，…，xm-l的回归系数进行F检验，相应的F统计量记为 ： 取最小值 若 则停止筛选， y与x1，x2，…，xm-l 之间的回归方程即为最优的回归