清华大学 五道口金融学院 潘文卿 第三章多元线性回归模型分析(一).pptVIP

第三章 多元线性回归模型** 多元线性回归模型是我们课程的重点，原因在于： 多元线性回归模型应用非常普遍； 原理和方法是理解更复杂计量经济学模型的基础； 内容较为丰富。 从而，我们应不遗余力地学，甚至是不遗余力地背！！！ 本章主要内容 多元线性回归模型的描述 参数?的OLS估计 OLS估计量的有限样本性质 参数估计量的方差-协方差矩阵和随机误差项方差?2的估计 单方程模型的统计检验 多元线性回归模型实例 §3.1 多元线性回归模型的描述 1、多元线性回归模型的形式 由于在实际经济问题中，一个变量往往受到多个原因变量的影响； “从一般到简单”的建模思路。 所以，在线性回归模型中的解释变量有多个，至少开始是这样。这样的模型被称为多元线性回归模型。 多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。 以多元线性回归模型的一般形式——K元线性回归模型入手进行讲解，其模型结构如下： 在研究中，我们根本无法了解式（1）所示的总体模型的特征，而只能通过样本特征来近似考察。 设经过n次试验，得到n个样本，如下所示： 在计量经济学分析中，通常会借助矩阵工具，在此亦将多元线性模型表示成矩阵形式，以便于下一步的数学运算。 （1）线性性。即要求模型关于参数是线性的，关于扰动项是可加的。 （2） 满秩。说明解释变量之间是线性无关的，这一假设很重要，在后面会经常受到。 （3）回归性。x与?不相关。 （4）x的DGP是外生的。x相对于y是外生的，是非随机的。 （5）球形扰动。同方差性和非自相关性。 （6）正态假设。 2、多元回归方程及偏回归系数的含义 称为多元回归方程（函数）。 偏回归系数的含义如下： ?1度量着在X2,X3,…,Xk保持不变的情况下，X1每变化1个单位时，Y的均值E(Y)的变化，或者说?1给出X1的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。 其他参数的含义与之相同。 需要说明的是，如果令x1≡1，则?1便是常数项。习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。 通常，一定要假设在模型中有常数项，即尽量让模型包含常数项，以中心化误差。 §3.2 参数?的OLS估计 注：这只是得到了求极值的必要条件。到目前为止，仍不能确定这一极值是极大还是极小。接下来考察求极值充分条件。 样本回归线的数值性质 （3）的证明方法1 因为Σei=0，所以对 两边求和即可。 附录：极大似然估计 回忆一元线性回归模型 将该或然函数极大化，即可求得到模型参数的极大或然估计量。 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下： 同理，分析多元线性回归模型 Y的随机抽取的n组样本观测值的联合概率 对数似然函数为 参数的极大似然估计 结果与参数的普通最小二乘估计相同 附录：矩估计(Moment Method,MM) 矩估计是基于实际参数满足一些矩条件而形成的一种参数估计方法。 随机变量的均值和方差如何得到？ 例：总体：E（Y-μ）=0 样本矩（用样本矩估计总体矩）： 满足相应的矩条件： 同理，方差的估计量是样本的二阶中心矩。 现在，考虑一元线性回归模型中的假设条件： 可见，与OLS估计量的正规方程组是相同的。 多元线性回归模型矩估计的矩条件通常是这样构造的： 对于多元线性回归模型 Y=Xβ+ε 两边分别左乘 ，即得到 解此正规方程组即得参数的估计量，这种估计方法称为矩估计。其参数估计结果与OLS一致。 样本形式：用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到： 对每个方程的两边求期望，有： 得到一组矩条件 求解这组矩条件，即得到参数估计量 与OLS、ML估计量等价 矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方法(Generalized Moment Method, GMM)的基础 在矩方法中关键是利用了 如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。 如果存在＞k+1个变量与随机项不相关，可以构成一组方程数＞k+1的矩条件。这就是GMM。 广义矩估计中，矩条件的个数大于参数个数，会出现什么问题呢？