第三章多元线性回归模型.ppt

为了选择最优的预测模型，一个自然而然的思路就是对自变 量各种不同的组合所建立的回归方程进行比较，进而从全部组合 中挑出一个“最优”回归方程。基于这种“全局比较”思路对回归方程进行选择的方法称为“最优子集回归”。其基本思路是，建立所有可能的自变量组合回归方程，然后按某种标准（如 、AIC、SC最小原则）从中选择最优的回归方程。 * 山东财经大学统计学院计量经济教研室 第*页 从本质上讲，以上所有这些指标是相同的，不同之处在于 各指标公式中的自由度处罚因子有所差异而已。 二、最优子集回归 例3.7 这是一个著名的案例，称为“Hald水泥问题”，来源于 A.Hald（1952）的一篇论文。问题是考察水泥中的四种成分 3CaO·Al2O3（记为x1）、3CaO·SiO2（记为x2）、4CaO·Al2O3 ·Fe2O3（记为x3）和2CaO·SiO2（记为x4）的含量（％）与每 一克水泥释放的热量（记为y）之间的关系。数据如下表所示： * 山东财经大学统计学院计量经济教研室 第*页 样品序号 x1 x2 x3 x4 y 1 7 26 6 60 78.5 2 1 29 15 52 74.3 3 11 56 8 20 104.3 4 11 31 8 47 87.6 5 7 52 6 33 95.9 6 11 55 9 22 109.2 7 3 71 17 6 102.7 8 1 31 22 44 72.5 9 2 54 18 22 93.1 10 21 47 4 26 115.9 11 1 40 23 34 83.8 12 11 66 9 12 113.3 13 10 68 8 12 109.4 表3.5 Hald水泥样本数据 * 山东财经大学统计学院计量经济教研室 第*页 所有子集回归及有关指标如下： 模型中的自变量 RMS Cp x1 x1 ，x2 x2 x2 ，x3 x1，x2 ，x3 x1 ，x3 x3 x3，x4 x1，x3，x4 x1，x2， x3，x4 x2， x3，x4 x2，x4 x1，x2， x4 x1， x4 x4 81.48 52.58 57.42 72.08 48.19 72.35 110.20 131.28 111.68 62.41 203.64 94.16 71.65 103.10 117.57 1.869 1.468 1.696 2.312 1.052 1.551 1.452 1.440 0.662 0.789 0.731 0.657 0.510 -0.932 0.311 0.416 -1.008 0.250 0.494 -1.256 -1.200 -0.410 0.102 -1.448 -0.724 -0.643 -0.144 -1.557 -1.457 -0.237 -0.614 -0.738 115.02 5.79 82.39 41.54 5.35 122.71 176.30 17.57 8.20 5.98 5.65 86.89 5.33* 7.48 80.85 202.55 2.68* 142.49 62.44 3.04 198.10 315.16 22.37 3.50 5.00 7.34 138.23 3.02 5.50 138.73 * 山东财经大学统计学院计量经济教研室 第*页 可见，按照RMS最小准则，应选择的预测模型应该是包含x1， x2，x4的回归模型，即 （3.36） 而按照Cp最小准则，应选择的预测模型应该是包含x1，x2的回 归模型，即 （3.35） 可见，不同的选择标准对应的最优子集回归往往不一致。这 时还需要结合其他方面的情况进行选择。本例中，模型（3.35） 具有最小的Cp值2.68和次小的RMS值5.79，而模型（3.36）具 有最小的RMS值5.33和次小Cp的值3.02，说明模型在自变量x1，x2的基础上，再加入x4后，对准则统计量的影响不大，按照简 约原则，可能模型（3.35）更为优良，即最优子集回归模型为 （3.35）。 * 山东财经大学统计学院计量经济教研室 第*页 第五节 模型应用：预测与分析 当最优预测模型建立起来以后，就可以给定解释变量某一组 特定值对因变量进行估计。多元线性回归预测分为点预测和区间 一、回归预测 预测。 对因变量y的均值或个别值进 （3.3） （一）点预测 假定总体回归方程PRF为: 样本回归函数SRF为 .对于给定的解 释变量值 行点估计，公式均为: * 山东财经大学统计学院计量经济教研室 第*页 （二）区间预测 1.平均值的区间预测 可以证明， 在给定了显著水平 ,有 由于 未知，用 代替，于是有