气候统计回归分析之逐步回归.pptVIP

逐步回归停止规则 逐步回归停止规则 上图表明，仅当M=12时， ； 即当MK时，仍然用2.35作为回归方程显著性检验的标准，则降低了显著性检验的水平，即可能使更多的预报因子进入回归方程。 因此，将F临界值取较高值，如 ，则可较大程度提高显著性检验水平。 逐步回归停止规则 上述停止规则对于不同的数据集，由于预报因子之间的统计关系的不同而导致F检验的临界值不同，则需要重新计算； 可以根据MSE建立检验标准，即当新增加的预报因子并不会明显减小MSE，则停止引入； 当然采用预报量的预报值得到的MSE将大于用于建立回归方程的预报量得到的MSE； 逐步回归停止规则 逐步回归停止规则 当建立回归方程的目的是进行预报，则无论回归方程中选择的因子是什么，减小MSE是根本目标； 但当目的是理解变量之间的关系时，则减少MSE并不是分析的根本目的，则因子的选择是非常重要的； 第四章 回归分析 第三部分 逐步回归 预报因子筛选 虽然潜在可用的预报因子很多，但并不是预报因子越多越好，事实上，回归方程包含太多的预报因子常是非常危险的； 因此，在建立回归方程时，存在一个重要的问题，即如何对众多的自变量进行筛选； 即建立最优的回归模型。 最优回归模型 最优回归模型的含义是： 预报准确，我们希望在回归方程中尽可能多的包含预报因子，尤其是不能遗漏对预报量有显著作用的预报因子，而回归方程包含的预报因子越多，回归平方和就越大，则残差平方和就越小，即回归方程越显著； 最优回归模型 最优回归模型的含义是： 优化回归方程，回归方程应包含有显著作用的预报因子，而不包括不显著的预报因子，这样处理的原因，一是简化回归方程，便以应用，二是减少可能由预报因子选取不当带来的过度拟合问题。 过度拟合回归（表） 过度拟合回归 选取1980-1985年的数据进行拟合： n=6，k=5 预报因子分别是： 年份 U.S. Federal Deficit U.S. Air Force Personnel U.S. Sheep Average SAT Scores 拟合方程： 过度拟合回归（图） 过度拟合回归 分析表明上图所示的拟合线与真实预报值完全吻合，MSE=0.，R2=100.%，F=∞，完美的拟合! 然而，对1986年的预报表明：完全无效的预报。 事实上，当k=n-1时，即预报因子仅比样本量少一个时，均会得到完美的拟合结果。 如，n=2，k=1，拟合线为直线，则该拟合线一定会通过平面中的两点。 过度拟合 虽然回归方程包含的预报因子越多，回归平方和就越大，残差平方和就越小。但引入对预报量影响较小的因子，会使残差平方和的自由度减少，即残差方差增加，增大了预报量置信区间。 实际应用中，无效拟合并不仅仅是由于拟合过程中使用与预报量没有联系的预报因子而造成。 过量的使用有意义的预报因子也可能会造成过度拟合。 预报因子选择的几点注意事项 选择的预报因子应与预报量之间存在一定的物理联系，因此对所分析问题掌握一定物理基础的研究者会比仅以建立预报方程为目的者更有可能建立合适的回归方程。 验证试验，将样本数据中的一部分（如1/4，1/3，1/2）作为独立预报量，用样本中剩下的数据进行回归拟合。若由拟合方程对独立预报量进行预测后的结果与真实观测给出的独立预报量差异非常大，则表明可能存在过度拟合问题。 预报因子选择的几点注意事项 要求预报方程稳定：即拟合参数实用于预测预报量的未来取值，且不会因为改变预报量的样本，拟合参数发生变化； 大样本会提高拟合精度，前人研究表明预报因子多于12个时，对提高回归方程拟合效果的作用将会非常小。预报因子与样本容量之间具体的关系仍没有具体的定论，因此验证试验是较好的提高回归预报稳定性的方法之一。 预报因子筛选 假定在建立回归方程时，我们能将所有物理上相关的因子包括进方程中，但这样处理的结果并不可能达到我们希望的目的，即提高拟合效果。 由于预报因子之间通常彼此相关，因此回归方程包含了多余的信息。 从而有必要对预报因子进行筛选，这个过程就是逐步回归。 逐步引进方案——步骤 Step1：假定有M个备选预报因子，首先建立方程 ，此时 一定是预报量的样本平均值。 Step2：将所有备选预报因子分别与预报量建立一元线性回归方程，选出在这些一元线性回归方程中贡献最大的预报因子， ，建立一元回归方程 ，此时 不再是预报量的样本平均值。 逐步引进方案——步骤 Step3：在已建立的一元回归方程的基础上，分别对M-1个预报因子建立二元回归方程，选出对回归方程贡献最大的预报因子，即R2最大，MSE最小，F检验统计量最大。回归方程为： Step next：对剩下的备选因子重复上述过程。 逐步引进方案——存在问题