第九章回归与相关分析精选.ppt

第九章 回归与相关分析 学习目标 1. 变量间的相关关系与相关系数的计算 2. 总体回归函数与样本回归函数 3. 线性回归的基本假定 4. 简单线性回归参数的估计与检验 第一节 相关与回归的基本概念 父亲们的身高与儿子们的身高之间关系的研究 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 第二节 简单线性相关与回归分析 相关系数的检验方法 给定显著性水平 ， 查自由度为 n-2 的临界值 若 ，表明相关系数 r 在统计上是显著 的，应否定 而接受 的假设； 反之，若 ，应接受 的假设。 回归系数显著性的 t 检验(续) 用估计的参数标准误差对估计的参数作标准化变 换，所得的 t 统计量将不再服从正态分布，而是服从 t 分布： 可利用 t 分布作有关的假设检验。 回归系数显著性的P值检验 ——检验方法 回归系数显著性的P值检验方法: 将所取显著性水平与P值对比 ▲所取的显著性水平 （例如取0.05）若比P值更大，就可在显著性水平 下拒绝 ▲所取的 若小于P值，就应在显著性水平 下接受 因变量的区间预测的特点(续) （3）预测区间与样本容量有关：样本容量n越 大， 越大，预测误差的方差越小，预测区间也越窄。 （4）当样本容量趋于无穷大（即n→∞）时, 不存在抽样误差，平均值预测误差趋于0，此时个别值的预测误差只决定于随机扰动的方差。 本章小结 1. 各种变量相互之间的依存关系： 确定性的函数关系 、不确定性的相关关系 2. 变量间的相关关系的程度用相关系数去度量 3. 现代意义的回归是关于一个变量对另一个或另外多个变量依存关系的研究 。回归分析的目的是要用样本回归函数去估计总体回归函数。 4. 线性回归的各项基本假定 5. 简单线性回归和多元线性回归的最小二乘估计 6. 可决系数或修正的可决系数去度量回归的拟合优度 本章重要公式 1. 总体相关系数 2. 样本相关系数 3. 总体回归函数（PRF） 4. 样本回归函数（SRF） 本章重要公式（续1） 5. 最小二乘估计 6. 的无偏估计 7. 可决系数 本章重要公式（续2） 8. 修正可决系数 9. t检验统计量 10. F检验统计量 11. 置信度为 的预测区间 简单线性回归的基本假定 假定1：零均值假定。 假定2：同方差假定。 假定3：无自相关假定。 假定4：随机扰动 与自变量 不相关。 假定5：正态性假定 回归系数的最小二乘估计 基本思想： 希望所估计的 偏离实际观测值 的残差 越小越好。可以取残差平方和 作为衡量 与 偏离程度的标准——最小二乘准则。 估计式： 最小二乘估计的性质 ——高斯—马尔可夫定理 前提： 在基本假定满足时 最小二乘估计是因变量的线性函数 最小二乘估计是无偏估计，即 在所有的线性无偏估计中，回归系数的最小二乘估计的方差最小。 结论： 回归系数的最小二乘估计是最佳线性无偏估计 最小二乘估计的概率分布性质 和 都是服从正态分布的随机变量，其期望为 方差和标准误差为 结论： 的无偏估计 为什么要估计 ？ 确定所估计参数的方差需要 由于 不能直接观测， 也是未知的 对 的数值只能通过样本信息去估计。 怎样估计 ？ 可