计量经济学第3章+多元线性回归模型.pptVIP

* * 第3章 多元线性回归模型§3.1 模型的建立及其假定条件 1.基本概念 多元总体线性回归模型： Y=β0+β1X1+β2X2+…+βkXk+u 多元总体线性回归方程： E(Y)=β0+β1X1+β2X2+…+βkXk * 样本数据结构形式的多元总体线性回归模型： Yi=β0+β1X1i+β2X2i+…+βkXki+ui,i=1,2,…,n 它是由n个方程，k+1个未知参数组成的一个线性方程组， 即 这个模型相应的矩阵表达形式是 Y=Xβ+U * 其中 * 多元样本线性回归方程： 估计的回归方程的矩阵表达形式是： 其中 * 2.模型的假定 （1）E(ui)=0，i=1,2,…,n （2）Var(ui)=E(ui2)=σ2, i=1,2,…,n （3）Cov(ui,uj)=E(uiuj)=0，i≠j,i,j=1,2,…,n （4）Cov(Xijuj)=0(i=1,2,…,k,j=1,2,…,n)且 Cov(XkXl)=0(k≠l)。 （5）rank(X)=k+1n （6）ui～N(0,σ2)，i=1,2,…,n * 引进向量、矩阵记法后，模型的基本假定1、2、3三条，可以综合为误差向量U的方差—协方差矩阵为对角矩阵： 满足这种假定的误差项称为“球形扰动”。 * §3.2 最小二乘法 1.参数的最小二乘估计 对于含有k个解释变量的多元线性回归模型 Yi=β0+β1X1i+β2X2i+…+βKXKi+ui,i=1,2,…,n 和相应的估计的样本回归方程 根据最小二乘准则，寻找使下式达到最小的参数估计值 * 当Q对 的一阶偏导数都等于0，即下列方程组 同时成立时，Q有最小值。 对上述方程组加以整理，可得到正规方程组，正规方程组有k+1个方程，未知数也是k+1个。只要系数矩阵非奇异(满足模型假设5，解释变量之间不存在严格线性关系即可)，就可以解出 的唯一的一组解，就是β0, β1,…,βK的最小二乘估计值。 * 用向量和矩阵的表示方法和运算，多元线性回归最小二乘估计的推导会简洁得多。先引进参数估计量、解释变量回归值和回归残差的下列向量表示： * 写成等价的向量方程，则为 再利用向量、矩阵的运算法则，可以得到残差平方和为 * 其中矩阵求导： * 整理该向量方程，得到下列形式的正规方程组 当 可逆，也就是X是满秩矩阵（满足假设5）时，在上述向量方程两端左乘的 逆矩阵，得到 这就是多元线性回归模型最小二乘估计的矩阵一般公式。 * 补充：矩阵的运算 （1）矩阵乘法 按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MMULT( )按Ctrl+Shift+Enter复合键确认。 （2）矩阵转置 按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=TRANSPOSE( )按Ctrl+Shift+Enter复合键确认。 （3）逆矩阵 按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MINVERSE( )按Ctrl+Shift+Enter复合键确认。 * §3.3 最小二乘估计量的特性 1.线性性 所谓线性性是指最小二乘估计量 是被解释变量Y的观测值的线性函数。 多元线性回归模型参数的最小二乘估计向量为 令 则 矩阵A是一个非随机的常数矩阵。线性性得证。 * 2.无偏性 * 3.最小方差性（有效性） * 证明思路： 如果模型参数向量的任意其他线性无偏估计量(b)的协方差矩阵Var(b)，与最小二乘估计的协方差矩阵Var( )之间，都满足Var(b)-Var( )是半正定矩阵(Var(b)-Var( )≥0)，那么最小二乘估计的最小方差性得到证明。 * 具体证明： 因为所设b是线性无偏估计向量，因此可以表示为 b=BY 又因为b是无偏估计，因此 E(b)=E(BY)=E[B(Xβ+U)]=E(BXβ+BU) =BXβ+BE(U)=BXβ=β 所以必然有BX=I 计算b的方差，有 Var(b)=Var[B(Xβ+U)]=Var(β+BU) =Var(BU)=BVar(U)B’=BB’σ2 * 根据矩阵代数知识，任意矩阵与自身转置的乘积都是半正定矩阵，因此 这意味着 为半正定矩阵。这样的协方差矩阵之差 也是半正定矩阵。因此多元线性回