第三章多元回归.ppt

第三章 多元回归分析 第一节 定义及假设前提 多元回归的定义 多元回归模型研究地是被解释变量y和一系列解释变量x1 x2 ……xk之间的关系。一般模型写作 yi= β0+β1x1i +β2x2i +… +βkxki +μi 多元回归的假设前提 关于误差项的假设前提与简单回归相同。但是增加了一项即：假设所有的x之间不存在线性关系。如果解释变量中存在线性关系，估计的模型就会发生变化。 例如，y= β0+β1x1i +β2x2i +μi 如果x1、x2之间存在线性关系， 假设： 2x1 + x2 =4,即x2= 4-2x1, 带入上述模型，变成 Y= β0+β1x1i +β2 ( 4-2x1) +μi 这样我们的回归模型变成 Y= (β0+ 4β2 )+(β1 -2β2 )x1i +μ 所以y对x1回归估计的是β0+ 4β2 和β1 -2β2 而不是初始模型中的参数了。 第二节多元回归模型的估计方法－最小二乘法 一，以双变量的模型为例 使用和简单回归模型中相同的参数估计方法－ 最小二乘法，即使残差平方和最小，然后利用求极值的方法求出所估计的参数。在二元回归模型中，要估计的参数有三个。常数项和两个解释变量前的系数。详细推导见板书。 二，使用最小二乘法，但是将多元回归模型表示成矩阵的形式。下面我们来进行推导。 假设模型为： yi= β1x1i +β2x2i +… +βkxki +μi 为简单起见，先省略常数项。可以把上述模型写成矩阵形式： Y =Xβ+ μ 其中，Y是n×1矩阵， X是 n×k矩阵 β是k×1矩阵 μ是n×1矩阵 假设： μi服从于正态分布，期望是0，方差是σ2，x为非随机的，与干扰项不相关。 x之间不存在线性关系， xx秩与x的秩相等，均为k,这表明xx的逆矩阵存在。该假设事实上要求kn，相当于要求样本容量足够大。因为如果样本容量过小，，误差方差的估计值就会偏大，因为n-k-1(包括常数项）过小， β就不容易通过显著性检验， β的置信区间、总体y0和平均y0的置信区间过大，失去预测的意义。 残差平方和= μhat μhat =(Y -Xβhat)( Y –Xβhat) = Y Y - Y Xβhat -βhat X Y + βhat X Xβhat = Y Y -2 βhat X Y + βhat X Xβhat βhat= (xx)-1 xy 最小二乘估计的结果:BLUE βhat= (xx)-1 xy= (xx)-1 x(xβ+ μ) = β+ (xx)-1 x μ 高斯－马尔可夫定理的证明： 1,线性， βhat既是y又是μ的线性组合 2, 无偏性，E(βhat）＝E(β+ (xx)-1 x μ) = β+ (xx)-1 x E(μ) = β 3, 有效性 令β* = (xx)-1 xy+cy=[ (xx)-1 x+c]y c为一常数矩阵,因为β* 是β的无偏估计,所以 E(β* )= β,由此推出cx=0 β* =[ (xx)-1 x+c](xβ+ μ) = β+cxβ+ (xx)-1 x μ+ cμ E(β* - β)(β*- β ) =E[(xx)-1 x μ + cμ] [(xx)-1 x μ + cμ] = σ2(xx)-1 +σ2 c c c c主对角线上的值均大于等于零,所以，任意设定β的无偏估计量的方差不比最小二乘估计的方差小,有效性由此得证 例题1，消费函数模型，数据如下： 消费 收入 70 80 65 100 90 120 95 140 110 160 115 180 120 200 140 220 155 240 150 260 10 1700 xx= 1700 322000 1110 xy= 205500 0.97576 -0.005152 (xx)-1= -0.005152 0.0000303 0.97576 -0.005152 1110 βhat= -0.005152 0.0000303