第九章 多元回归模型 Multiple Regression Model.ppt

第九章 多元回归模型 Multiple Regression Model — 多元回归模型 — 最小二乘估计量 — 复测定系数 — 假设检验 (F-检验, t-检验 & D.w 检验) — 置信区间 — 变量筛选 9.1 多元线性回归模型 总体模型的基本假设 最小二乘法 多元回归方程 残差平方和（Sum of Squares for Error） 正规方程 (The Normal Equations ） 参数估计结果: Gauss-Markov 定理 如果基本假设都成立: (1) b0 , b1 ,…, bk 是总体参数 ?0 , ?1,…, ?k 的无偏估计量; (2) b0 , b1 ,…, bk 在线性无偏估计量中具有最小的方差. 9.2 回归标准误与测定系数 在基本假设中,有: se 是? 的最小方差无偏估计量. 测定系数 离差平方和分解: SST: 总平方和 SSR: 回归平方和 SSE: 残差平方和 拟和优度 复测定系数（Coefficient of Multiple Determination） 问题：复测定系数是否越大越好？ 当增加变量个数，而样本容量过小时，会出现 过度拟和现象。 调整的测定系数（Adjusted Coefficient of Determination） 9.3 总体参数的置信区间 如果基本假设条件都成立 ?j 的100(1-?)置信区间为: 例题： 9.4 假设检验1 . F-test 在 Y 与 X1 , X2 ,…, Xk 之间是否存在线性关系? 如果 F>F?, 拒绝 H0 如果 F?F?, 不决绝 H0 2. t –检验  Xj 在解释 Y 时是否是一个有用的变量? 如果基本假设条件都成立, 如果 |t| > t?/2 , 拒绝 H0 如果 |t| ? t?/2, 不决绝 H0 3. Durbin-Watson检验——自相关现象（序列相关） 总体模型中无序列相关假设： 样本序列相关系数： 例题1 y —社会商品零售总额 x1 —居民收入 x2 —总人口 se=4.5149, R2 = 0.9948, F =1148.3190 t1= 25.1018, t2= 5.2274 d = 2.2486 (1)F—检验： 查表：F0.05( 2, 15-2-1) = 3.89 F =1148.3190 > 3.89， F—检验通过。 (2) t—检验： 查表： t0.025(15-2-1)=2.179 b1: t1= 25.1018 > 2.179, 通过t—检验； b2: t2= 5.2274 > 2.179, 通过t—检验。 (3)D.W检验：? = 0.05，n =15, p = 2 查表：dL = 0.96, du = 1.54, 4 - du = 2.46 1.54< d = 2.2486 <2.46 ， D.W检验通过。 9.5 变量筛选方法 1.向后筛选法 （Backward Elimination） 1）起始：所有自变量X1 ~ Xk 均包含 在模型中； 如果 t-test都显著，则X1 ~ Xk 均包含在模型中； 如果 存在若干 t-test不通过的参数，则先把 tj 值最小的变量删除。 2）对剩余的（k-1) 个变量做回归方程, 删除t-test不通过中，t 值最小的变量； 3）重复以上步骤。直到模型中所以变量均通过 t-test。 3. Stepwise Regression（逐步回归法） 前进法的问题： 一旦某自变量进入模型后，它就永远留在模型中。然而，随着其他自变量的引入，一些先进入模型的变量的作用会变得不再显著。 向后法的问题： 一旦某自变量被删除后，就永远不再进入模型。然而，随着其他自变量被删除，它的作用有可能会显著起来。 Stepwise Regression（逐步回归法） 对于模型外部的变量，只要还能提供显著的解释作用，则可以再次进入模型。而在模型内部的变量，只要它的 t—检验不再显著，则可以从模型中删除。  为了避免变量进出循环，一般选取 t-test的进、出水平不等： 原则：一旦出去，就很难进来。 例：Stepwise Regression n=23 y — 现在工资 x1 —开始工资(Selbeg) x2 —年龄(Age) x3