多元回归分析总结分析.docxVIP

第十二章多元回归剖析 在很多实际问题中，影响因变量的因素有一个时，我们用一元回归剖析解决问题，但 是影响因变量的因素往往有多个，此时问题就上涨到了一个因变量同多个自变量的多元回归 问题。当因变量与自变量之间为线性关系时，我们称之为多元线性回归。 多元性性回归剖析的原理同一元线性回归基真相同，但计算上要复杂得多。 本章知识构造如下： 1、成立回归模型 y 0 1x1 2x2 kxk 回归方程 y 0 1x1 2x2 kxk 2、利用最小二乘法对参数进行估计 参数包括 ， ， 2 k 0 1 3、写出回归方程 y 0 1x1 2x2 kxk 2 方法一：多重判断系数R 4、方程拟合优度的查验 方法二：估计标准误差S e 1) 提出假定 5、线性关系查验 SSRK 2) 1) 多 计算统计量F ~F(k,nk SSE(n k1) 元 6、回归系数的查验3) 作出决议F,F,P, 回 归 查验单个自变量对因变量的影响是否显著 ，查验步骤同线性关系的查验， 分 查验过程中可能会因为“多重共线性”问题致使某些自变量无法经过查验。 析 7、利用回归方程进行预测 利用给定的k个自变量，求出因变量y的平均值的预测区间和个别值 向前选择 的预测区间。 向后剔除 8、变量选择——我称之为“模型的简化” 主要方法 原理：对统计量进行显著性查验，将一个或一个以上的自变量引入模型，如果增加一个自变量会使得残差平方和（SSE）显然减少，则将该自变量留在模型中，否则剔除。 计算各对自变量之间的有关系数，并对各有关系数进行显著性查验； 当模型的线性关系进行F查验显著时，几乎所 有回归系数  的  t  查验却不显著； i 主要知识点： 成立的回归模型中回归系数和误差项分别代表的含义： 回归系数(i0,1,2k)表示当其他k1个自变量不变时，第i个自变量 i 一个单位因变量y的平均改动量； 误差项表示不能由各个自变量与y之间的线性关系所解释的变异性。 利用软件用最小二乘法对参数进行估计的方法及步骤： 在Excel中使用“工具”“数据剖析”“回归”输入数据地区 “确定”，即可获得各参数的估计值，此时便能够写出回归方程。 拟合优度的查验方法： 方法一：多重判断系数 2 SSR SSE 2 R SST 1 SST 0 R1 2 R表示在因变量y的总变差中被估计的回归方程所解释的比率； 2 故R越大越好。 方法二：估计标准误差 2 y Se y) n k1 S表示根据所成立的回归方程，用自变量来预测因变量时，平均 e 预测误差的大小； 故S越小越好，越小说明波动性越小。 e 用软件进行线性关系查验的方法： 在Excel中，在“工具”“数据剖析”“回归”方差剖析一栏中 有“SignificanceF”值（即P值），当p时，拒绝原假定；当p时，接 受原假定。 回归系数的查验： 查验单个自变量对因变量的影响是否显著，查验步骤同线性关系的查验，查验过 程中可能会因为“多重共线性”问题致使某些自变量无法经过查验。 查验步骤：第1 步：提出假定。关于随意参数 (i1,2 k)有 i H0: i 0 H1: i 0 第2 步：计算查验的统计量t。 ti ? i ~t(n k 1) ? 第3 步：做出统计决议。 给定显著性水平 ，根据自由度=n-k-1 查t散布表， 得t2的值。若t t 2，则拒绝原假定；若 tt2，则不 拒绝原假定。 多重共线性： 产生原因：自变量之间的有关性； 查验方法： 方法一：查验模型中各对自变量之间是否显著有关，若显著有关则暗示存在多重共线性； 方法二：当模型的线性关系查验（F查验）显著时，几乎所有回归系数 的t查验却不显著； 方法三：当回归系数的正负号与预期的相反时也预示着多重共线性的存在； 问题的办理： 方法一：将一个或多个有关的自变量从模型中剔除，使保存的自变量尽可能不有关； 方法二：如果要在模型中保存所有的自变量，那就应当： ⅰ防止根据t统计量对单个参数进行查验。 ⅱ对因变量y值得推断（估计或预测）限定在自变量样本值的范围内。 利用回归方程进行预测： 利用给定的k个自变量，求出因变量y的平均值的预测区间和个别值的预测区间。 变量选择： 原理：对统计量进行显著性查验，将一个或一个以上的自变量引入模型，如果增加一个自变量会使得残差平方和（SSE）显然减少，则将该自变量留在模型中，否则剔除。 主要方法：1）向前选择2）向后剔除3）逐步回归 本章例题 关于绝大部分的钢种而言，磷是有害的元素之一，要求含磷越低越好，经 过试验技术人员发现，高磷钢的效率与高磷钢的出钢量及高磷钢中的FeO含量有一定关系,所测数据如下表： 试验序号出钢量(x1)含量(x2)效率(y) 1 2 3 4 5 6 7 8 9 10 11 12 13 设高磷钢的效率为y、高磷钢的出钢