多元线性回归模型参数估计的原理与一元线性回归模型相同.ppt

第四章 多元线性回归分析 本章主要内容 第一节 多元线性回归模型 第二节 参数估计 第三节 回归拟合度评价和决定系数 第四节 统计推断和预测 第一节 多元线性回归模型 1.模型的建立 2.模型的假设 1.模型的建立 由于： 在实际经济问题中，一个变量往往受到多个原因变量的影响； “从一般到简单”的建模思路。 所以，在线性回归模型中的解释变量有多个，至少开始是这样。这样的模型被称为多元线性回归模型。 多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。 多元线性回归模型的一般形式为： Y=β0+β1X1+…+βkXk+ε 其中：k为解释变量的数目 习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k+1）。 2.模型假设 (1)变量Y和X1,…,Xk之间存在多元线性随机函数关系： Y=β0+β1X1+…+βkXk+ε； (2) E(?i)=0, 对i=1,…n都成立； (3) Var(?i)=E(?i-E(?i))2=E(?i2) =σ2，与i无关； (4)误差序列不相关，即当i≠j (j=1,2, …,n)时, Cov(?i, ?j)=0 ； (5)解释变量Xi是确定性的，而非随机变量，且解释变量之间不存在完全和强的线性关系； (6)误差项 ?i 服从正态分布。 与简单回归的相似点 b0 仍然是截距 b1 到 bk 都称为斜率参数 εi 仍然是误差项（或称扰动项） 仍然需要做一个条件期望为0的假设，现在假设：E(εi|x1,x2, …,xk) = 0 仍然最小化残差的平方和，所以现在有k+1 个一阶条件 对假设的进一步分析 上述六条假设中（2）、（3）、（4）和（6）与两变量模型相同。 第（1）条是关于模型基本变量关系的。 第（5）条不仅针对的解释变量数目增加了，而且多了一个要求解释变量之间没有线性关系的假设，这是多元线性回归模型的重要特点。 多元回归分析模型的矩阵表达式为： 多元回归的动机 统计学看： 回归分析的基本假设： 此假设在简单回归时不一定成立，但加入新的变量后此假设可能成立 例、 其中教育程度和能力是相关的，（2）中的 ， 因而 的假设不成立，即使 多元回归的动机 经济学看：影响因变量的自变量不只一个 例子1、 例子2、 解释多元回归 解释多元回归 系数的解释：给定其它条件不变（方程中其它解释变量不变），所考察的解释变量每增加一个单位，将导致被解释变量的变化量。 注意：OLS只能控制在方程中的变量不变，不能保证被忽略的相关变量（跑到误差项中了）保持不变。 解释多元回归 例3.1大学GPA的决定因素 大学GPA，高中GPA，大学能力测试ACT，四分制 解释多元回归 例3.2小时工资方程 0.092的含义？ 练习 第二节 参数估计 1.最小二乘估计 2.投资函数模型参数估计 3.参数估计的性质和方差估计 1.最小二乘估计 1.最小二乘估计(续) 1.最小二乘估计(续) 1.最小二乘估计(续) 特别地，对于两个解释变量的线性回归模型： 样本回归方程是： 可推导出参数最小二乘估计的公式如下： 最小二乘估计的向量、矩阵表示 向量表示 回归方程的向量表示 回归残差向量 残差平方和 最小二乘估计的向量、矩阵表示(续) 最小二乘估计的向量、矩阵表示(续) 2.投资函数模型参数估计 作为例子，我们估计[例4-1]的投资函数(一个多元线性回归模型)的参数。 假设已获得该地区1968-1983年期间实际投资和实际GNP数据。 表4.1 某地区投资和GNP数据 3.参数估计的性质和方差估计 只要变量关系符合多元回归模型的假设，多元回归分析参数的最小二乘估计量也有优良的性质，也是BLUE估计和一致估计。 因此在模型假设成立的前提下，最小二乘估计也是多元线性回归分析基本的参数估计方法，并能为相关统计推断和预测分析提供基础。 要进一步对多元线性回归模型进行统计推断和检验，同样需要先估计参数估计量的方差。 据最小二乘估计公式和模型假设，可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。 上述参数估计量方差中的 是模型误差项 的方差，一般可以用多元线性回归最小二乘估计的残差序列： 加以估计，公式是： ＝ 第三节 回归拟合度评价和决定系数 分析两变量线性回归决定系数公式 可以发现，该决定系数只与被解释