数建模统计预测方法及预测模型精要.ppt

多元线性回归模型的参数估计 1. 普通最小二乘法(OLS) ?最小二乘法(OLS)的原理是通过求残差（误差项的估计值）平方和最小确定回归参数估计值。这是求极值问题。用Q表示残差平方和，求其最小值条件下的回归参数的估计值。 得到下列方程组 求参数估计值的实质是求一个k+1元方程组 （2）正规方程 最小二乘法的矩阵表示 （3）正规方程的结构 ——被解释变量观测值 nx1 ——解释变量观测值（含虚拟变量 nx(k+1) ） ——设计矩阵（实对称(k+1) x (k+1)矩阵 ） ——正规方程右端 (k+1) x 1 ——回归系数矩阵 (k+1) x 1 ——高斯乘数矩阵， 设计矩阵的逆 ——残差向量（ n x 1 ） ——被解释变量的拟合（预测）向量 n x 1 （4）最小二乘估计量的性质 线性（估计量都是被解释变量观测值的线性组合） 无偏性（估计量的数学期望=被估计的真值） 有效性（估计量的方差是所有线性无偏估计中最小的） 因为X的元素是非随机的，(X ‘X)-1X 是一个常数矩阵，由上式知 是Y的线性组合，为线性估计量，具有线性特性。 2) 无偏特性 1)　线性 3) 有效性 具有最小方差特性。 （5）随机误差项的方差 的估计量 若 已知，则 定义 则上式写为 矩阵M有如下性质： 存在 ? 为 阶的满秩阵 因此，必须有 ，此为最小样本容量，满足基本要求的样本容量。一般经验认为： n ≥ 30或者n ≥ 3(k+1)才能满足模型估计的基本要求。 n ≥ 3(k+1)时，t分布才稳定，检验才较为有效 （6）样本容量问题 样本是一个重要的实际问题，模型依赖于实际样本。 获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。 最小样本容量：满足基本要求的样本容量 回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归。 尽管从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及模型整体的显著性检验。 ?多元线性回归模型的统计检验 （1）拟合优度检验 总离差平方和的分解 Y X 0 * * * * * * * △ * * * * Y9 由回归方程解释的部分，表示解释变量X对Y的线性影响 残差项，表示回归方程不能解释的部分 总离差平方和（TSS） 回归平方和（ESS） 残差平方和（RSS） ， ， 注意英文缩小的含义 TSS：Total Square Sum / 总离差平方和 RSS：Regression Square Sum / 回归平方和 Residual Square Sum / 残差平方和 ESS：Error Square Sum / 误差平方和（残差平方和） Explain Square Sum / 解释平方和（回归平方和） 平方和分解的意义 TSS=RSS+ESS 被解释变量Y总的变动（差异）= 解释变量X引起的变动（差异）+ 除X以外的因素引起的变动（差异） 如果X引起的变动在Y的总变动中占很大比例，那么X很好地解释了Y；否则，X不能很好地解释Y。 (2)样本可决系数 样本可决系数是拟合优度评价的最重要指标，残差的标准差也能作为拟合优度评价的参考指标 样本可决系数（The coefficient of Determination）R2 随机项μ的方差σ2的最小二乘估计量 相关系数计算方法与样本决定系数一样含义有所不同： 样本可决系数是判断回归方程与样本观测值拟合优度的一个数量指标，隐含的前提条件是X和Y具有因果关系 相关系数是判断两个随机变量线性相关的密切程度，不考虑因果关系。 调整的可决系数(adjusted coefficient of detemination)，增加解释变量时，很可能增加R2，容易引起错觉，认为只要在回归模型中增加解释变量就可以了，因此考虑对R2进行修正 思考：调整的可决系数能否为负？如果为负，说明什么问题？ 注意TSS、ESS、RSS的自由度：TSS(离差平方和): n-1；RSS(残差平方和):n-k-1；ESS(回归平方和):k。 （3）赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回