自变量选择与逐步回归.pptVIP

第31页，共64页，星期日，2025年，2月5日二、逐步选择法全局选择计算量很大：6个变量，计算26-1=63个方程；10个变量，计算210-1=1023个方程。按选入变量顺序不同分前进法、后退法与逐步回归法，共同特点是每一步只引入或剔除一个自变量Xj。第32页，共64页，星期日，2025年，2月5日对Xj的取舍要进行F检验：计算进行到第l步时：p:方程中自变量个数SS回：Xj的偏回归平方和SS残：残差平方和第33页，共64页，星期日，2025年，2月5日缺点：后续变量的引入可能使先前引入的变量变的不重要。Xj入选1.前进法（只选不剔）自变量从无到有、从少到多Y对每一个自变量作直线回归，对回归平方和最大的自变量作F检验，有意义（P小）则引入。在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F检验，…第34页，共64页，星期日，2025年，2月5日2.后退法（只剔不选）开始方程中包含全部自变量，然后从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除，直至无自变量可以从方程中剔除为止。缺点：当某些自变量高度相关时，可能得不出正确结果。Xj剔除第35页，共64页，星期日，2025年，2月5日3.逐步回归法（先选后剔，双向筛选）开始方程中无自变量，从方程外选取偏回归平方和最大的自变量作F检验以决定是否选入方程；每引一个自变量进入方程后，从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除；直至方程外无自变量可引入，方程内无自变量可剔除为止。第36页，共64页，星期日，2025年，2月5日Xj剔除内剔Xj入选外引α入值定的越小选取自变量标准越严，被选入方程内自变量数越少。α入值越大则反之。小样本：α入=0.05，α出=0.10。大样本：α入=0.10，α出=0.15。α入α出，以免Xj上一步剔除后下一步又被选入第37页，共64页，星期日，2025年，2月5日逐步回归法流程图第38页，共64页，星期日，2025年，2月5日例第39页，共64页，星期日，2025年，2月5日1.全回归第40页，共64页，星期日，2025年，2月5日第41页，共64页，星期日，2025年，2月5日2.决定系数R2血糖含量变异的60%可由总胆固醇、甘油三酯、胰岛素和糖化血红蛋白的变异解释。第42页，共64页，星期日，2025年，2月5日选X4前先建立4个直线回归方程；选X1前先建立1个含3个自变量、3个含2个自变量的多元线性回归方程。第43页，共64页，星期日，2025年，2月5日第44页，共64页，星期日，2025年，2月5日第45页，共64页，星期日，2025年，2月5日自变量选择与逐步回归第1页，共64页，星期日，2025年，2月5日多元线性回归方程中所包含的自变量是根据专业知识和经验事先选择好的，但在许多回归分析的、应用中，由于没有清晰的理论依据，回归模型所包含的自变量难以预先确定，如果将一些不重要的自变量也引入方程，会降低模型的精度，因此选择有意义的自变量是回归分析的第一步。选择自变量的基本思路是：尽可能将回归效果显著的自变量选入回归方程中，将作用不显著的特别是与自变量有密切线性关系的自变量排除在外。第2页，共64页，星期日，2025年，2月5日第七章第一节机动目录上页下页返回结束自变量选择对估计和预测的影响第3页，共64页，星期日，2025年，2月5日在多元线性回归模型中，自变量的选择实质上就是模型的选择。其中：Y是nx1的观测值，X是nxm结构矩阵，并假定X的秩为m。现设一切可供选择的变量是t个,它们组成的回归模型称为全模型（记m=t+1)是mx1未知参数向量，第4页，共64页，星期日，2025年，2月5日下面的回归模型称为选模型：现从这t个变量中选t’变量，不妨设矩阵X可作如下的分块（记：），那么对全模型中的参数和结构第5页，共64页，星期日，2025年，2月5日自变量的选择问题可以看成是这样二个问题：究竟应用全模型还是用选模型；若用选模型，则究竟应包含多少变量最适合。如果全模型为真，而我们用了选模型，这就表示在方程中丢掉了部分有用变量，