第六章回归分析精选.ppt

* * * * * * * 多元线性回归 一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 ? 的方程称为多元线性回归模型 b0 ，b1，b2 ，?，bp是参数 ? 是被称为误差项的随机变量 y 是x1,，x2 ，? ，xp 的线性函数加上误差项? ? 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性 * 多元线性回归方程 描述 y 的平均值或期望值如何依赖于 x1， x1 ，…，xp的方程称为多元线性回归方程 多元线性回归方程的形式为 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?p xp b1，b2，?，bp称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均平均变动值 * 多元线性回归的估计方程 总体回归参数 是未知的，利用样本数据去估计 用样本统计量 代替回归方程中的 未知参数 即得到估计的回归方程 是 估计值 是 y 的估计值 * 多重样本决定系数 回归平方和占总离差平方和的比例 反映回归直线的拟合程度 取值范围在 [ 0 , 1 ] 之间 R2 ?1，说明回归方程拟合的越好； R2?0，说明回归方程拟合的越差 等于多重相关系数的平方，即R2=(R)2 * 修正的多重样本决定系数 由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值 用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为 * 回归方程的显著性检验 检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验 检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 * 回归方程的显著性检验 提出假设 H0：?1??2????p=0 线性关系不显著 H1：?1，?2，?，?p至少有一个不等于0 2. 计算检验统计量F 3. 确定显著性水平?和分子自由度p、分母自由度n-p-1找出临界值F ? 4. 作出决策：若F?F ?，拒绝H0；若FF?，接受H0 * 回归系数的显著性检验 如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著 对每一个自变量都要单独进行检验 应用 t 检验 在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验 * 回归系数的显著性检验 提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi ? 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 确定显著性水平?，并进行决策 ? t??t???，拒绝H0； ? t?t???，接受H0 * 异方差性 方差不齐性：随机误差项的方差不齐性 异方差性带来的问题： 参数估计值不是有效的 参数的显著性检验失效 回归方程的应用效果极不理想 诊断：残差图分析法 处理方法：加权最小二乘法 多元回归中的问题 * 多重共线性问题 多重共线性：自变量之间存在相关关系 问题：回归结果造成混乱，如多元回归模型显著，但自变量中有很多回归系数不显著。 对参数估计的正负号可能产生影响，甚至bi的正负号可能与预期的正负号相反，对回归系数的解释是危险的。 多元回归中的问题 诊断： 模型中各自变量显著相关 当模型的线性关系检验显著时，几乎所有回归系数的t 检验却不显著。 回归系数的正负号与预期的相反 * 消除方法： 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要保留所有的自变量，就应该： 避免根据t统计量对回归系数进行检验 对因变量y值的推断限定在自变量样本值的范围内。 多重共线性问题 多元回归中的问题 * 一元线性回归分析 简单线性回归与多元线回归 * * * 估计方法 Enter:将自变量一次全部引进方程 Remove：剔除法：进入的自变量一步中删除 Forward:向前引入法，自变量由少到多一个一个引入回归方程 Backward：自变量由多到少