实用统计学—11.逐步回归分析PPT.pptVIP

第十一章 逐步回归分析 逐步回归 回归系数的 F 检验 检验回归系数 ?j 是否显著性异于 0 , 除了 T 检验外, 还有针对回归系数 (而不是针对总体回归效果)的F检验. 假设Ho: ?j = 0; 备择假设H1: ?j ? 0 (即 Ho 不成立). 可以证明, 服从 ?2(1) 分布, 且与 (也服 从 ?2 (n-k)分布)相互独立. 若再记: , 则有 Fj = (n-k)Vj / Q 服从F ( 1, n-k) 分布. 把 Fj 的显著性概率 p 与置信度水平 ? 比较, 就可以判断一个变量 xj 是否应当成为自变量: P 0.05 , 接受Ho , ?j与 0 没有显著性差异, xj不应成自变量. P ? 0.05 , 拒绝Ho , ?j与 0 有显著性差异, xj 应成自变量. 2. 偏解释变差 (偏回归平方和) 在一个回归方程中, 当把 xj 从自变量的队伍中删除以后, 我们可以得到一组新的回归系数的估计值: 从而得到 Y 的新的计算值: 注意: 下标不包含 j . 如果用小写的 y , x 表示中心化的数据, 就有 这时||? *||2是新的(在自变量中不含xj的)已解释变差( 新的回归平方和 ). 可以肯定地说, 在自变量中删除一个变量之后, 已解释变差只可能变小(在被删除的解释变量多少有一点解释作用的情况下, 已解释变差变小), 或者已解释变差不变(在被删除的解释变量没有一点解释作用的情况下, 已解释变差不变), 即||? ||2 ? ||? *||2. 于是, ||? ||2 - ||? *||2 就是 xj 对已解释变差 (回归平方和) 的贡献, 因此, 称 ||? ||2 - ||? *||2 为 xj的偏解释变差(偏回归平方和). 可以证明, , 也就是说, Vj就是 xj 的偏解释变差(偏回归平方和). 从残差 (或未解释变差的)角度来考虑: 在自变量中删除一个变量之后, 未解释变差只可能变大 ( 或者不变 ). 若记, ||e*||2是从自变量中删除变量 xj 之后的未解释变差,那么就有 ||e||2 ? ||e*||2. 可以证明, ||e*||2 - ||e||2 =Vj . 而 也就是说, 在删除变量 xj 之后的未解释变差的增加量, 刚好等于已解释变差的减少量, 刚好等于 xj 的偏解 从未解释变差 (残差平方和)角度考虑, 图中 ||e||2是中心化数据 y 对所有自变量 (x2, ···, xk )回归的未解释变差(残差平方和), ||e*||2是中心化数据 y 对自变量x3, ···, xk (剔除了x2 )回归的未解释变差 (残差平方和).由勾股定理, 得||e*||2 - ||e||2 = ||e(2) ||2. ||e(2) ||2就是未解释变差的增加部分, 也就是变量 x2 的偏解释变差V2 . 由此看到, 关于自变量 xj 的系数 ?j 的 F 检验, 其统计量Fj可以理解为 xj 的偏回归方差(偏解释变量/自由度= ||e( j ) ||2 /1= Vj /1)与未解释方差(未解释变差/ 自由度= ||e||2 / n-k)之比, 也就是, 与统计量 Fj = (n-k)Vj / Q 完全相同. 2、逐步回归法 逐步回归法的基本思想： 在考虑 Y 对已知的一群变量( X2, ···,Xk )回归时, 从变量X2, ···,Xk中, 逐步选出对已解释变差的贡献 (也就是偏解释变差) 最大的变量,进入回归方程. 而对已解释变差的贡献大小的判别依据, 就是包含了偏解释变差的 F 统计量Fj. 统计量Fj 的值 fj 最大的 xj , 先进入方程; 最后一个进入方程的自变量 xj , 也应当满足: 统计量的值 fj 的显著性概率 p 小于等于选定的显著性水平? (即, 要求其系数 ?j 显著异于 0). 逐步回归法也可以按照反过来的顺序进行. 先把 Y 对所有的自变量 X2, ···,Xk 回归, 然后逐步把 fj 最小的 xj 剔除出方程. 所有剔除出方程的 xj , 在剔除时, 其统计量的值 fj 的显著性概率 p 大于选定的显著性水平 ? (即, 要求其系数?j 与 0 没有显著性差异). Chapter 10 Instructor Notes 10-* Statistics for Managers Using Microsoft Ex