学习目标多元线性回归模型.ppt

上好的模型选择可遵循一个称为奥克姆剃刀(Occam’s Razor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。 ——William Navidi 第 9 章 多元线性回归 9.1 多元线性回归模型 9.2 拟合优度和显著性检验 9.3 多重共线性及其处理 9.4 利用回归方程进行预测 9.5 虚拟自变量的回归 学习目标 多元线性回归模型、回归方程与估计的回归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归分析 身高受那些因素影响？ 决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用 2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回 调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性，0代表女性) 父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？ 这就是本章将要讨论的多元线性回归问题 9.1.1 回归模型与回归方程 多元回归模型 (multiple linear regression model) 一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xk 和误差项 ? 的方程，称为多元回归模型 涉及 k 个自变量的多元线性回归模型可表示为 多元回归模型(基本假定) 正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,?2) 方差齐性。对于自变量x1，x2，…，xk的所有值，? 的方差? 2都相同 独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的?与任意一组其他值所对应的不相关 多元线性回归方程 (multiple linear regression equation) 描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，…，xk的方程 多元线性回归方程的形式为 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?k xk 估计的多元线性回归的方程(estimated multiple linear regression equation) 用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为 9.1.2 参数的最小二乘估计 参数的最小二乘估计 参数的最小二乘法(例题分析) 参数的最小二乘估计(例题分析) 9.2.1 回归方程的拟合优度 多重判定系数(multiple coefficient of determination) 回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回归方程所解释的比例 修正多重判定系数(adjusted multiple coefficient of determination) 用样本量n和自变量的个数k去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2 多重相关系数(multiple correlation coefficient) 多重判定系数的平方根R 反映因变量y与k个自变量之间的相关程度 实际上R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度，即多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 (一元相关系数r也是如此，即 。读者自己去验证) 估计标准误差 Se 对误差项?的标准差? 的一个估计值 衡量多元回归方程的拟合优度 计算公式为 9.2.2 显著性检验 线性关系检验 检验因变量与所有自变量之间的线性关系是否显著 也被称为总体的显著性检验 检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 线性关系检验 提出假设 H0：?1??2????k=0 线性关系不显著 H1：?1，?2，? ?k至少有一个不等于0 回归系数的检验 线性关系检验通过后，对各个回归系数有