回归分析(二)汇.pptVIP

回归分析(二) 多元线性回归 第一节 多元线性回归模型 第二节 回归方程的拟合优度 第三节 显著性检验 第四节 多重共线性与残差分析 第五节 利用回归方程进行估计和预测 第六节 虚拟自变量的回归 多元回归模型与回归方程 多元回归模型 (multiple regression model) 一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 ? 的方程，称为多元回归模型 涉及 p 个自变量的多元回归模型可表示为 多元回归模型(基本假定) 误差项ε是一个期望值为0的随机变量，即E(?)=0 对于自变量x1，x2，…，xp的所有值，?的方差?2都相同 误差项ε是一个服从正态分布的随机变量，即ε~N(0,?2)，且相互独立 多元回归方程 (multiple regression equation) 描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，…，xp的方程 多元线性回归方程的形式为 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?p xp 二元回归方程的直观解释 估计的多元回归方程 估计的多元回归的方程(estimated multiple regression equation) 用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为 参数的最小二乘估计 参数的最小二乘法 参数的最小二乘法(例题分析) 多重判定系数 多重判定系数(multiple coefficient of determination) 回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回归方程所解释的比例 注意：当自变量个数的增加时，会使预测误差减小，即使新增加变量在统计上不显著，也会使 增大 修正多重判定系数(adjusted multiple coefficient of determination) 用样本容量n和自变量的个数p去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2 估计标准误差 Sy 对误差项?的标准差?的一个估计值 用自变量估计因变量时存在的平均误差 计算公式为 如何选择自变量进入模型 [Options 子对话框]设置回归分析的一些选项 如何选择自变量进入模型 SPSS中的选择标准：在模型中增加一个或一个以上的自变量之后，是否使得误差平方和SSE得到显著的减少。 即：证明SSE(旧)-SSE(新)与SSE (旧)或SSE(新)的比值是否足够大。 由于二者均服从卡方分布，因此可构筑服从F分布的检验统计量。SPSS中的F统计量为： 原假设：新自变量的增加没有导致SSE显著减少 备择假设：SSE显著减少 如何选择自变量进入模型 在SPSS中，F统计量的值或与之相对应的概率即作为变量纳入或剔除的标准。 SPSS中的自变量选择方法 1。强制进入法(Enter) 2。向前选择法(Forward) 3。向后消元法(Backward) 4。逐步回归法(Stepwise) 5。强制剔除法(Remove) Forward Backward Stepwise 线性关系检验 线性关系检验 检验因变量与所有自变量之间的是否显著 也被称为总体的显著性检验 检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 线性关系检验 提出假设 H0：?1??2????p=0 线性关系不显著 H1：?1，?2，?，?p至少有一个不等于0 回归系数检验和推断 回归系数的检验(步骤) 提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi ? 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 回归系数的推断 (置信区间) ?回归系数在(1-?)%置信水平下的置信区间为 F检验与t检验的结果出现矛盾 当F检验通过时，某些自变量的回归系数没有通过t检验，并不一定意味着这些自变量对因变量就没有影响 以上情况可能是由于自变量之间存在较大的相关性所导致的。 多重共线性及其产生的问题 多重共线性(multicollinearity) 回归模型中两个或两个以上