9-ch7多元线性回归.ppt

第七章 多元回归模型 Multiple Regression Model — 多元回归模型 — 最小二乘估计量 — 复测定系数 — 假设检验 (F-检验, t-检验 D.w 检验) — 置信区间 — 变量筛选 ７.1 多元线性回归模型 总体模型的基本假设 最小二乘法 多元回归方程 残差平方和（Sum of Squares for Error） 正规方程 (The Normal Equations ） 参数估计结果: Gauss-Markov 定理 如果基本假设都成立 (1) b0 , b1 ,…, bk 是总体参数 ?0 , ?1,…, ?k 的无偏估计量; (2) b0 , b1 ,…, bk 在线性无偏估计量中具有最小的方差. ７.2 回归标准误与测定系数 在基本假设中,有: se 是? 的最小方差无偏估计量. 测定系数 离差平方和分解: SST: 总平方和 SSR: 回归平方和 SSE: 残差平方和 拟和优度 复测定系数（Coefficient of Multiple Determination） 问题：测定系数是否越大越好？ 当增加变量个数，而样本容量过小时，会出现过度拟和现象。 调整的测定系数（Adjusted Coefficient of Determination） ７.3 总体参数的置信区间 如果基本假设条件都成立 ?j 的100(1-?)置信区间为: 例题 ７.4 假设检验1 . F-test ：在 Y 与 X1 , X2 ,…, Xk 之间是否存在线性关系 如果 FF?, 拒绝 H0 如果 F?F?, 不决绝 H0 2. t –检验  Xj 在解释 Y 时是否是一个有用的变量? 如果基本假设条件都成立, 如果 t t?/2 , 拒绝 H0 如果 t ? t?/2, 不决绝 H0 3. Durbin-Watson检验——自相关现象（序列相关） 总体模型中无序列相关假设： 样本序列相关系数： 例题 y —社会商品零售总额 x1 —居民收入 x2 —总人口 se=4.5149, R2 = 0.9948, F =1148.3190 t1= 25.1018, t2= 5.2274 (1)F—检验： 查表：F0.05( 2, 15-2-1) = 3.89 F =1148.3190 3.89， F—检验通过。 (2) t—检验： 查表： t0.025(15-2-1)=2.179 b1: t 1= 25.1018 2.179, 通过t—检验； b2: t 2= 5.2274 2.179, 通过t—检验。 ７.5 变量筛选方法 1.向后筛选法 （Backward Elimination） 1）起始：所有自变量X1 ~ Xk 均包含 在模型中； 如果 t-test都显著，则X1 ~ Xk 均包含在模型中； 如果 存在若干 t-test不通过的参数，则先把 tj 值最小的变量删除。 2）对剩余的（k-1) 个变量做回归方程, 删除t-test不通过中，t 值最小的变量； 3）重复以上步骤。直到模型中所以变量均通过 t-test。 3.逐步回归法（ Stepwise Regression ） 前进法的问题： 一旦某自变量进入模型后，它就永远留在模型中。然而，随着其他自变量的引入，一些先进入模型的变量的作用会变得不再显著。 向后法的问题： 一旦某自变量被删除后，就永远不再进入模型。然而，随着其他自变量被删除，它的作用有可能会显著起来。 Stepwise Regression（逐步回归法） 对于模型外部的变量，只要还能提供显著的解释作用，则可以再次进入模型。而在模型内部的变量，只要它的 t—检验不再显著，则可以从模型中删除。  为了避免变量进出循环，一般选取 t-test的进、出水平不等： 原则：一旦出去，就很难进来。 例：逐步回归法 n=23 y — 现在工资 x1 —开始工资(Selbeg) x2 —年龄(Age) x3 —受教育水平(Edlevel) x4 —性别(Sex) 第一轮计算： Variable in equation Variable B SEB T. Sig T. x1(Salbeg) 1.9094