第十三章+多重线性回归与相关1.pptVIP

多重线性回归与相关multiple linear regression correlation 根据最小二乘法原理求下式为最小的解 SPSS处理过程图示 整体回归效应的假设检验及偏回归系数的t检验 复相关系数、确定系数与调整确定系数 偏相关系数计算公式： 例13—1偏相关系数的计算（SPSS图示） 扣除x2\x3\x4影响后x1与y的偏相关系数计算 自变量筛选SPSS图示 forward backward Stepwise(与forward同) 复共线性现象难以避免，问题在共线性的强弱程度，共线性较弱时，回归方程仍然有效，但共线性较强时，将会导致错误结论。 关于复共线性诊断及强弱程度测量的研究： 1、特征分析:XX’ 有几个特征根接近0就有几对共线性关系 困难在特征根究竟达到多小才算是非常接近0 2、条件数:最大条件指数 0-10 无(或弱)共线性 10-100中等强度共线性 100有严重共线性 3、方差扩大因子（Variance Inflation Factor） 10存在共线性 消除共线性方法: 1、增加样本含量，减弱自变量间线性相关，改善共线性 2、从模型中删除共线性较强的自变量 3、用主成分回归、多项式回归、特征回归或岭回归方法都能不同程度改善复共线性 自变量筛选的方法 1.所有可能的自变量子集中选择：也称为“最优子集回归” all possible subset selection 此种方法先计算出所有可能子集的回归模型，然后考察每一模型符合 上述第2或第3准则的程度， 同时考虑模型中参数个数的多少(在满足准则 程度一致的情况下，参数个数较小的模型为“优” )选择出一个或几个最优 回归模型。这 种方法计算量大，一般适合用于 自变量个数不太多的情况 采用。 自变量筛选的方法 2.前向选择(forward selection) 该方法从仅含常数项的模型开始,首先对每个变量计算反映其进 入模型后该变量对新模型贡献量的F值,然后将最大F统计量与预先指 定的临界值(Fin)比较,如果F Fin程序停止继续引入新变量,否则将其 最大F值所对应的自变量引入模型;然后在有一个自变量的模型的基础 上,重复以上过程；如此反复，每次加入一个变量到模型中,直到剩下 的变量中无一个能使其F值大于或等于Fin值为止。 自变量筛选的方法 2.前向选择(forward selection) 该方法是基于残差均方缩小的准则来选择自变量，使残差均 方缩小最大的变量先进入模型。但该方法的缺点是变量“只进不出” ，而新变量的进入会使原来已进入的变量与反应变量的关系发生改 变，在这种情况下，有可能先进入的变量要被剔除，显而易见，向 前法无法做到这一点，不能保证最终所筛选的模型为“最优” 模型。 自变量筛选的方法 3.后向选择(backward selection) 该方法首先建立包含所有p个变量的全模型，然后逐个计算出剔除某 一变量后仅包含p-1个自变量的p个模型，同时计算剔除变量后所致残差 平方和增量的F值，然后将p个F值中的最小者与预先指定的临界值Fout相 比较，若最小的FFout,则将最小的F值所对应的自变量从模型中剔除;然 后在选中的p-1个自变量的模型基础上,重复以上剔除自变量的计算、比 较、剔除的过程。每次循环剔除一个对模型贡献最可忽略的变量。如此 反复，直到再没有任何变量的F值低于Fout为止。 自变量筛选的方法 3.后向选择(backward selection) 该方法是基于残差均方缩小的准则来选择自变量,使残差均方 缩小最小的变量先从模型中剔除.但该方法的特点是变量“只出不 进”,被剔除的变量不可能再一次被选入模型，所以也无法保证最 终模型为“最优”模型。 自变量筛选的方法 4.逐步选择(stepwise selection) 逐步选择法又称为逐步回归,其本质是前向选择法,为了克服前向选择 法在后续变量进入模型后可能使已在方程中的变量变得不重要的缺点,同 时吸收了向后剔除的作法. 即在逐步选择过程中,把经F检验有意义的变量引入方程后,又对已在方 程中的自变量进行一次关于剔除的F检验,保留有统计学意义的变量,而剔除 无统计学意义的变量.反复进行引入、剔除过程，直到既没有变量被引入， 也没有变量被剔除为止。 自变量筛选的方法 4.逐步选择(stepwise selection) *该方法是基于残差均方缩小的准则来选择、剔除自变量,逐步 选