多元线性回归2.pptVIP

01-2-28 第五章多元线性回归 一元线性回归模型回顾 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的假设检验 模型的预测和回归系数的置信区间 Beta系数 逐步回归分析 第一节 一元线性回归模型回顾 一元线性回归模型 一元线性回归的参数估计 一元线性回归参数的置信区间 一元线性回归模型的假设检验 一元线性回归模型的预测 一、一元线性回归模型 随机干扰项的意义 在解释变量中被忽略的因素 观察误差 模型数学形式设定误差 其他随机因素的影响 二、 一元线性回归模型的参数估计 最小二乘法的思想 y与x之间是否是直线关系？若是，可用一条直线描述它们之间的关系。 在y与x的散点图上画出直线的方法很多。究竟哪一条直线能最好地描述y与x之间的关系。 最小二乘法的思想（续） 什么是“最好”？—找出判断“最好”的原则 “最好”指的是找一条直线使得所有这些点到该直线的距离（平方和）最小。 三种距离 最小二乘法的数学原理 纵向距离是y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以称为残差、拟合误差或剩余。 最小二乘法的数学原理（续） 将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和达到最小的直线。拟合直线在总体上最接近实际观测点。 最小二乘法的数学原理（续） 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。 参数估计量的性质 线性性，即： 参数估计量的性质（续） 无偏性，即： 参数估计量的性质（续） 有效性（最小方差性） 参数估计量的性质（续） 三、参数的置信区间 四、一元线性回归模型的假设检验 平方和分解 拟合优度检验 回归方程的F检验 回归系数的t检验 平方和分解 平方和分解的几何意义 拟合优度检验 拟合优度检验是指样本回归线与样本观测值之间拟合程度的检验。 度量拟合程度的指标是判定系数（决定系数）R2。 R2越大，表明拟合程度越高。 回归方程的F检验 方差分析表 回归系数的t 检验 F检验与t检验之间的关系 五、一元线性回归模型的预测 样本回归函数的一个用途是“预测”或“预报”对应于给定x的未来的y值。 包括两种预测： 均值预测(mean prediction) 单个值预测(individual prediction) 均值预测(mean prediction) 单个值预测(individual prediction) 均值预测与单个值预测之比较 现实生活中引起因变量变化的因素并非只有一个，可能有很多个因素。例如，产出往往受各种投入要素——资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入等因素的影响。 所以在一元线性回归模型的基础上，提出多元线性回归模型——自变量个数=2 第二节 多元线性回归模型 多元线性回归模型的一般形式 多元线性回归模型的基本假定 多元线性回归方程的直观解释 一、多元线性回归模型的一般形式 多元线性回归模型一般形式（续） 多元线性回归模型的矩阵表示 二、多元线性回归模型的基本假定 解 回归模型基本假定的矩阵表示 三、多元线性回归方程的直观解释 P=2时回归方程的几何解释 第三节 多元线性回归模型的参数估计 普通最小二乘估计（OLS） 最小二乘估计的性质 一、普通最小二乘估计(Ordinary Least Square Estimator) 正规方程（续） 正规方程（续） 正规方程（续） 样本容量 最小二乘法的矩阵表示 最小二乘估计 二、最小二乘估计量的性质 线性性（估计量都是被解释变量观测值的线性组合） 无偏性（估计量的数学期望=被估计的真值） 有效性（估计量的方差是所有线性无偏估计中最小的） 1、线性性 2、无偏性 3、有效性 第四节 多元线性回归模型的假设检验 拟合优度检验 方程显著性检验（F检验） 变量显著性检验（t检验） 一、拟合优度检验 拟合优度检验就是检验回归方程对样本观测值的拟合程度。 平方和分解 平方和的含义 SSR——回归平方和，反映了由解释变量引起的被解释变量的变动。 为什么SSR是由解释变量引起的变动？ 决定系数（判定系数）R2 P=2时回归方程的几何解释 调整后的R2 二、方程显著性检验（F检验） 等价于 回归方程的F检验 拟合优度检验与F检验的关系 三、变量显著性的检验(t检验) 等价于 构造t检验统计量 构造t检验统计量（续） t检验 第五节 多元线性回归模型的置信区间 参数估计量的置信区间 预测值的置信区间 一、参数估计的置信区间 二、预测值的置信区间 均值E(y0|X0)预测 E(y0|X0)点估计 E(y0|X0)区间估计 单个值y0的预测 均值预测和单个值预测的比较 一、多元线性回归模型的一般形式 多元线性回归模型一般形式（续） 二、多元线性回归模型的基本假定 解 最小