多重线性回归与多元逐步回归 统计学.ppt

多重共线性是指在进行多元回归分析时，自变量间存在较强的线性相关关系。共线关系的存在，可使得估计系数方差加大，系数估计不稳，结果分析困难。因此在多因素线性回归分析时，特别是当回归结果难以用专业知识解释时，要进行共线性诊断，找出存在共线性且不重要的那些自变量，剔出方程，另行回归分析。 对于存在共线性的资料，可以利用共线性诊断有选择的保留自变量以消除共线性；或者采用岭回归、主成分回归等回归分析方法以避免共线性指标对结果的影响。剔除某个造成共线性的自变量，重建回归方程；合并自变量；采用逐步回归方法。 ．多重共线性 多重共线性的表现在实际应用中主要表现为： （）模型拟合效果很好，但偏回归系数几乎都无统计学意义； （）偏回归系数估计值的方差很大； （）偏回归系数估计值不稳定，随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化； （）偏回归系数估计值的大小与符号可能与事先期望的不一致或与经验相悖，结果难以解释 出现以上表现，提示存在多重共线性问题，应进行多重共线性诊断。 回归模型好坏的评价 )拟合的回归方程在总体上有统计学意义 ) 决定系数 残总 模总， 它表示在因变量的总变异中可由回归方程所解释部分的比例。 ≤, 越接近于, 说明回归方程效果越好。 复相关系数是随方程中的变量个数增加而增加的，为了克服这一缺点，对它进行校正 残总， ≤, 越接近于, 说明回归方程效果越好。 调整的确定系数（ ， ） )剩余标准差或标准估计误差( )。 它反映了应变量在扣除自变量的线性影响后的离散程度； 剩余标准差越接近于, 说明回归方程效果越好。 ）回归系数估计值的正负号与专业上的含义相吻合，根据回归方程计算的的预测值在专业上有意义。 确定系数 或称决定系数，以反映回归方程的效果好坏。 本例 ＝，说明利用车流量、气温、气湿和风速等 四个因素可以解释一氧化氮浓度的约％的变异，可以 认为回归的效果较好 。 复相关系数 ( ) 又称多重相关系数 回归系数的假设检验 由于存在抽样误差，即使总体偏回归系数为零，也可能得到样本偏回归系数不为零的情形，因此需要对偏回归系数进行假设检验，以推断总体偏回归系数是否为零 。 检验统计量为 其中， 是第 个偏回归系数的标准误 车流量、气温、风速对一氧化氮浓度的影响有统计学意义（ ）， 但是气湿的影响没有统计学意义（ ）。 ）。 标准偏回归系数 所有变量标准化后做回归,所得系数称为标准偏回归系数. 注意： 一般回归系数有单位，用来解释各自变量对应变量的影响，表示在其它自变量保持不变时， 增加或减少一个单位时 的平均变化量。 不能用各 来比较各 对 的影响大小。 标准化回归系数无单位，用来比较各自变量对应变量的影响大小， 越大， 对 的影响越大。 第二节 回归分析中变量的选择 并不是事先考虑的所有的自变量对反应变量的影响都有统计学意义。 在许多研究中，多因素线性回归分析的目的是建立一个预测效果最优的回归模型，需要对自变量进行筛选： 将对反应变量没有影响的自变量从模型中剔除，将对反应变量的作用有意义的自变量纳入模型当中。 残差平方和（ ）缩小或确定系数（ ）增大 越小越好！ 越大越好！ 然而, 只要增加自变量个数, 这个量就会减小!? 自变量筛选的统计学标准 残差的均方（ ）缩小或调整确定系数（ ）增大 自变量筛选的统计学标准 统计量 值达到最小，该模型为最佳模型，准则 自变量筛选的统计学标准 自变量筛选的方法 最优子集回归分析法： 个变量有－个方程 逐步回归分析： 向前引入法( ) 向后剔除法( ) 逐步引入－剔除法( ) （一）最优子集回归法 求出所有自变量可能组合子集的回归方程的模型（共有－个），按一定准则选择最优模型，常用的准则有： ① 校正决定系数或残差的均方（考虑了自变量的个数） ② (` )准则； 越小越好 最优子集法的局限性 如果自变量个数为，则所有的回归有－＝个；当自变量数个数为时，所有可能的回归为 －＝ 个；……..；当自变量数个数为时，所有可能的回归为－≈个。 前进法（ ） 后退法（ ） 逐步回归法（ ）。 它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的检验，它表示在原有回归方程基础上引入或剔除某一自变量后所增加或减少的那部分回归平方和. （二）逐步回归分析 （）前进法 自变量从无到有、从少