第六章 回归分析概要.ppt

第六章 回归分析 第一节 两随机变量的回归关系 第一节 两随机变量的回归关系 实例：P161 实例：P161 实例：P161 实例：P161 实例：P161 2、t 检验 实例：t 检验 第四节 预测值的置信区间 实例： 由X预测Y的预测区间 实例： 由X预测Y的预测区间 实例： 由X预测Y的预测区间 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第五节 多元回归分析 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第六节 回归诊断 第七节 注意事项 2、回归系数的假设检验 统计量为t： 其中： 自由度：df=n-m-1，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素 原假设 H0 ：βi＝0 1）t检验 2、回归系数的假设检验 统计量为： 其中：Ui 为xi对y的回归平方和，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素 自由度：df1 = 1 df2 = n-m-1 原假设 H0 ：βi＝0 2）F检验 四、回归模型的选择 由于自变量较多时，不是每一个自变量的回归关系都显著，对回归不显著的自变量不能简单的进行剔除。 尤其时自变量之间存在严重的线性关系时，自变量之间相互影响，很难对自变量的去留做出抉择。 为了获得最优回归方程，就需要对自变量进行筛选。 常用的自变量的筛选方法 1、向前引入法（Forward） 按显著程度，逐个将自变量引入回归方程，直到没有显著的自变量引入为止。 2、向后剔除法（Backward） 对全回归方程中最不显著的自变量，依次剔除，直到剩余自变量都显著为止。 3、逐步筛选法（Stepwise） 逐个引入最显著的自变量，同时对方程中不显著的自变量进行剔除，直到没有引入和剔除为止。 五、回归模型的判别准则 1. R2 决定系数 Adj R2 修正的决定系数 n为观测数，p为含截距的参数个数，i为截距数 决定系数的值越大，模型拟合越好。 五、回归模型的判别准则 2. PRESS 统计量——预测残差平方和 其中 ri 为残差，hi 为杠杆率 PERSS统计量用来比较不同方法所建立的回归模型的优劣，PRESS的值越小，模型越好。 五、回归模型的判别准则 3. Cp 统计量 其中 k 为参数个数，n 为观测数 ESS(k)为含k个参数的误差平方和 ESS(T)为全回归的误差平方和 Cp统计量的值越小，越接近含截距的参数个数，回归模型越好。 一、残差（Residual）分析 残差：指实测值和预测值之间的差。 标准化残差： 学生化残差： 学生化残差使残差具有优良的可比性 残差图：以观测值(x或y)为横坐标，残差为纵坐标 方差非齐性时，可用加权最小二乘法回归，或者对因变量的数据进行适当的变换，如： 观测值不独立时（共线性）： 说明自变量之间存在着一定的相关性。可能遗漏了某些重要的自变量；可用逐步回归、偏最小二乘法回归或岭回归等进行分析。 异常点的识别： 1. 杠杆率hi 刻划第i各观测值到中心的远近。 2. 一般把标准化残差的的绝对值≥2的点认为是可疑点，绝对值≥3的点认为是异常点。考虑是否作为例外值加以剔除或做其它处理。 杠杆率大的可以判别为可疑点。 二、贡献分析 贡献分析：从研究观测点对回归结果的影响入手，找出对回归结果影响比较大的观测点。 若存在对回归结果影响比较大的观测点时，得到的回归模型无法保证其稳定性和应用效果。 我们希望每个观测点对回归结果都产生一定的影响，个别观测的改变不会对回归模型产生较大的影响。 对强影响点的值进行复验，或增大样本容量。 1、DFFITS统计量 此统计量衡量一个观测排除与否对预测值的影响 一般当 时，该观测值应作为强影响点加以关注。 2、Cooks D统计量 此统计量衡量一个观测排除与否对回归系数的影响 一般当 |Di|4/n 时，该观测值应作为强影响点加以关注。 三、共线性诊断 共线性：拟合多元线性回归时，自变量之间存在线性关系或近似线性的关系。 共线性存在时，可能会隐藏某些自变量的显著性，增加拟