教学课件 地址数据处理 相关与回归分析.pptVIP

第三节 多元线性回归 一. 多元线性回归模型 回归参数的估计 回归方程的显著性检验 回归系数的显著性检验 多元线性回归的预测 * 最小二乘法 （ 和 的计算公式） 根据最小二乘法的要求，可得求解 和 的标准方程如下 1 ? b 0 ? b * 估计方程的求法（实例） 根据前述例中的数据，元素A对元素B的回归方程。 根据 和 的求解公式得： 0 ? b 1 ? b * 估计(经验)方程 元素B对元素A的回归方程为： y = 54.22286 + 0.52638 x ^ * 估计方程的求法（输出结果） * 回归方程的显著性检验 * 离差平方和的分解 因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面 由于自变量 x 的取值不同造成的 除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响 对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示 y y - * 离差平方和的分解（图示） x y y { } } ? 离差分解图 * 离差平方和的分解 （三个平方和的关系） 2. 两端平方后求和有 从图上看有 SST = SSR + SSE 总变差平方和 （SST） { 回归平方和 （SSR） { 残差平方和 （SSE） { * 离差平方和的分解 （三个平方和的意义） 总平方和(SST) 反映因变量的 n 个观察值与其均值的总离差 回归平方和(SSR) 反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和 残差平方和(SSE) 反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和 * 样本决定系数 （判定系数 R2 ） 回归平方和占总离差平方和的比例 反映回归直线的拟合程度 取值范围在 [ 0 , 1 ] 之间 R2 ?1，说明回归方程拟合的越好；R2?0，说明回归方程拟合的越差 判定系数等于相关系数的平方，即R2＝(r)2 * 回归方程的显著性检验 （线性关系的检验 ） 检验自变量和因变量之间的线性关系是否显著 具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著 如果是显著的，两个变量之间存在线性关系 如果不显著，两个变量之间不存在线性关系 * 回归方程的显著性检验 （检验的步骤） 提出假设 H0：线性关系不显著 2. 计算检验统计量F 确定显著性水平?，并根据分子自由度1和分母自由度n-2找出临界值F ? 作出决策：若F?F ?,拒绝H0；若FF ?,接受H0 ( ) ( ) ) 2 , 1 ( ~ 2 ? 1 ? 2 1 1 2 1 2 - - - - = - = ? ? = = n F n y y y y n SSE SSR F n i i n i i * 回归方程的显著性检验 （方差分析表） （续前例）输出的方差分析表 平方和 均方 * 估计标准误差 Sy 实际观察值与回归估计值离差平方和的均方根 反映实际观察值在回归直线周围的分散状况 从另一个角度说明了回归直线的拟合程度 计算公式为 注：上例的计算结果为14.949678 ( ) 2 2 ? 1 1 1 2 1 2 - - - = - - = ? ? ? ? = = = = n y x b y a y n y y S n i i i n i i n i i n i i i y * 回归系数的显著性检验（要点） 在一元线性回归中，等价于回归方程的显著性检验 检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著 理论基础是回归系数 的抽样分布 1 ? b * 回归系数的显著性检验（样本统计量 的分布） 是根据最小二乘法求出的样本统计量，它有自己的分布 的分布具有如下性质 分布形式：正态分布 数学期望： 标准差： 由于?无未知，需用其估计量Sy来代替得到 的估计的标准差 1 ? b 1 ? b 1 1 ) ? ( b b = E ( ) ? - = 2 ? 1 x x i s s b ( ) ? - = 2 ? 1 x x S S i y b 1 ? b 1 ? b * 回归系数的显著性检验（样本统计量 的分布） 的抽样分布 * 回归系数的显著性检验 （步骤） 提出假设 H0: b1 = 0 (没有线性关系) H1: b1 ? 0 (有线性关系) 计算检验的统计量 确定显著性水平?，并进行决策 ? t?t???，拒绝H0；? t?t???，接受H