第5章 逐步回归与自变量选择.pptVIP

浙江财经学院 倪伟才 第五章逐步回归法 浙江财经学院 倪伟才 一、前进法 前进法（forward）的思想：自变量由少到多，每次增加1个，直到没有可引入的变量为止。 具体步骤：①将x1,x2,….,xp中的一个变量引入回归方程，作p个一元线性回归方程；选取与y关系最密切（相关性最强）（或p值最小的）解释变量引入。不妨设为x1. ②回归方程中已有x1 ，再引入一个变量。作p-1个二元线性回归方程；选取x2,….,xp中与y关系最密切（相关性最强）（或p值最小的）解释变量引入。不妨设为x2. ③回归方程中已有x1 ， x2，再引入一个变量。作p-2个三元线性回归方程；选取x3,….,xp中与y关系最密切（相关性最强）（或p值最小的）解释变量引入。不妨设为x3. 。。。。。。。 ④直到未被引入方程的p值0.05为止。 例：用前进法建立例3.1的 回归方程 浙江财经学院 倪伟才 二、后退法 后退法（backwad）的基本思想：首先用全部的p个自变量建立一个回归方程，然后将最不重要的自变量一个一个地删除。 具体步骤：①作y对全部的p个自变x1,x2,….,xp的回归②在回归方程中，将x1,x2,….,xp 对y的影响最小（最不重要或p值最大）的自变量剔除，不妨令x1；③在② 中的回归方程（已没有x1 ），将x2,….,xp 对y的影响最小（最不重要或p值最大）的自变量剔除，④直到回归方程中，自变量对y的影响都重要为止。 例：用后退法建立例3.1回归方程 浙江财经学院 倪伟才 三.前进法、后退法的缺点 前进法：终身制。 前面引进的自变量是显著的，但后面引进其它变量后变地不显著了，此时再也无法将其剔除。 后退法 ：一棍子打死。 一旦某个自变量被剔除后，它再也没有机会重新进入回归方程。 浙江财经学院 倪伟才 四.逐步回归法 思想：有进有出，在前进法的基础上，结合后退法。 步骤：将变量一个一个引入，当引入一个新的变量时，不仅对新变量进行检验，而且对已引进的自变量也要检验。若已引进 的 变量由于后面的 变量引进而变地不显著时，将其剔除（有进有出），直到不再有显著的变量引入回归方程，也不再有不显著的变量从回归方程中剔除。（通俗的说：方程中的自变量都是显著的，方程外的自变量都是不显著的） 引入自变量显著性水平记为： ?进 剔除自变量显著性水平记为：? 出 要使用逐步回归法的前提： ?进? 出 Spss中默认的?进 =0.05 ? 出=0.1 例：用逐步回归法建立例3.1回归方程 练习课本例5.5关于香港股市的研究 练习课本152页的习题5.9 浙江财经学院 倪伟才 * Stata ,SPSS结果一致(课本例5.1) 1:Stepwise: sw reg y x1 x2 x3 , pe(.05) pr(.1) forward 与SPSS的输出结果完全相同! 2:forward: sw regress y x1 x2 x3 , pe(.05) 3:backward: sw regress y x1 x2 x3 , pr(.1) 4:区别sw reg y x1 x2 x3 , pe(.05) pr(.1) forward begin with empty model sw reg y x*,pe(0.05) pr(0.1) begin with full model 浙江财经学院 倪伟才 * 自变量选择的准则 浙江财经学院 倪伟才 * 所有子集回归 在一个实际问题的多元回归模型的建模过程中,有p个可供选择的变量x1,x2,…,xp. 这样，y关于这些自变量的所有可能的回归方程就有2p个,(此时把回归模型只包含常数项的情况包含在内)。（请说出为什么是2p个的理由？） 若把回归模型只包含常数项的情况排除在外，可能的回归方程就有2p－1个。 对于有p个自变量的回归模型问题，一切可能的回归子集有2p个，在这些回归子集中如何选择一个最优的回归子集，衡量最优子集的标准是什么？ 浙江财经学院 倪伟才 * 复习残差平方和与复决定系数 1：OLSE的基本思想：使残差平方和达到最小。 思考：能用残差平方和来选择一个最优的回归子集吗？理由？ 2：能用复决定系数来选择一个最优的回归子集吗？理由？ 浙江财经学院 倪伟才 * 准则1：调整复决定系数 浙江财经学院 倪伟才 * 调整复决定系数 浙江财经学院 倪伟才 * 准则2：回归的标准误 浙江财经学院 倪伟才 * 浙江财经学院 倪伟才 * Two popular model selection criteria The KISS Principle: Keep It Sophistically Simple! 准则3：AIC准则 AIC＝ln(SSR)+2P/n =goodn