第7章 自变选择与逐步回归.ppt

第七章 第一节 第二节 第三节 一、全局选择法 全局择优法的局限性 二、逐步选择法 逐步回归法流程图 逐步回归法流程图 逐步回归每一步的回归方程系数表。 全局选择计算量很大： 6个变量，计算26-1=63个方程； 10个变量，计算210-1=1023个方程。 按选入变量顺序不同分前进法、后退法与逐步回归法，共同特点是每一步只引 入或剔除一个自变量Xj。 对Xj的取舍要进行F检验： 计算进行到第l步时： p :方程中自变量个数 SS回：Xj的偏回归平方和 SS残：残差平方和 缺点：后续变量的引入可能使先前引入的变量变的 不重要。 Xj入选 1.前进法（只选不剔） 自变量从无到有、从少到多 Y对每一个自变量作直线回归，对回归平方和最大的自变量作F检验，有意义（P小）则引入。 在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F检验，… 2.后退法（只剔不选） 开始方程中包含全部自变量，然后从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除，直至无自变量可以从方程中剔除为止。 缺点：当某些自变量高度相关时，可能得不出正确 结果。 Xj剔除 3.逐步回归法（先选后剔，双向筛选） 开始方程中无自变量，从方程外选取偏回归平方和最大的自变量作F检验以决定是否选入方程； 每引一个自变量进入方程后，从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除； 直至方程外无自变量可引入，方程内无自变量可剔除为止。 Xj剔除 内剔 Xj入选 外引 α入值定的越小选取自变量标准越严，被选 入方程内自变量数越少。 α入值越大则反之。 小样本：α入=0.05，α出=0.10。 大样本：α入=0.10，α出=0.15。 α入α出，以免Xj上一步剔除后下一步又被选入 例 1. 全回归 2.决定系数R2 血糖含量变异的60%可由总胆固醇、甘油三酯、胰岛素和糖化血红蛋白的变异解释。 选X4前先建立4个直线回归方程； 选X1前先建立1个含3个自变量、 3个含2个 自变量的多元线性回归方程。 在自变量很多时，其中有的因素可能对应变量的影响不是很大，而且x之间可能不完全相互独立的，可能有种种互作关系。在这种情况下可用逐步回归分析，进行x因子的筛选，这样建立的多元回归模型预测效果会更较好。 逐步回归分析，首先要建立因变量y与自变量x之间的总回归方程，再对总的方程及每—个自变量进行假设检验。当总的方程不显著时，表明该多元回归方程线性关系不成立；而当某—个自变量对y影响不显著时，应该把它剔除，重新建立不包含该因子的多元回归方程。筛选出有显著影响的因子作为自变量，并建立“最优”回归方程。 回归方程包含的自变量越多，回归平方和越大，剩余的平方和越小，剩余均方也随之较小，预测值的误差也愈小，模拟的效果愈好。但是方程中的变量过多，预报工作量就会越大，其中有些相关性不显著的预报因子会影响预测的效果。因此在多元回归模型中，选择适宜的变量数目尤为重要。 例 变量说明如下： 糖 类 X10 消费性支出 Y 调味品 X9 食品加工服务费 X18 菜 类 X8 在外用餐 X17 水产品类 X7 其他食品 X16 蛋 类 X6 奶及奶制品 X15 肉禽及制品 X5 糕点类 X14 油脂类 X4 干鲜瓜果类 X13 干豆类及豆制品 X3 酒和饮料 X12 淀粉及薯类 X2 烟草类 X11 粮 食 X1 1）准备分析数据 在SPSS数据编辑窗口中，用“File→Open→Data”命令 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Linear”项 3) 设置分析变量 设置因变量：将左边变量列表中的“y”变量，选入到“Dependent”因变量显示栏里。 设置自变量：将左边变量列表中的“x1”~“x21”变量，全部选移到“Independent(S)”自变量栏里。 设置控制变量: 本例子中不使用控制变量，所以不选择任何变量。 选择标签变量: 选择“DIST”为标签变量。 选择加权变量: 本例子没有加权变量，因此不作任何设置。 4）回归方式 在“Method”分析方法框中选中“Stepwise”逐步分析方法。该方法是根据“Options”选择对话框中显著性检验（F）的设置，在方程中进入或剔除单