2018年多元线性回归2.docVIP

多元线性回归 　　多元线性回归模型 　　一、多元线性回归模型的一般形式 　　设随机变量y与一般变量x1,x2,?,xp的线性回归模型为： 　　y??0??1x1??2x2????pxp?? 　　其中： 　　写成矩阵形式为：y?X??? 　　?1?y1? 　　???1y2 　　???y? X?????? 　　??? 　　y??n??1 　　x11x21?xn1 　　x12x22?xn2 　　?? 　　? 　　x1p???0???1? 　　?????x2p?1?? ???? ???2? 　　???????? 　　?????xnp?????n???p?? 　　二、多元线性回归模型的基本假定 　　1、解释变量x1,x2,?,xp是确定性变量，不是随机变量，且要求 　　ran(kX)?p?1?n。这里的rank(X)?p?1?n表明设计矩阵X中自变量列之间 　　不相关，样本容量的个数应大于解释变量的个数，X是一满秩矩阵。 　　E(?i)?0,i?1,2,?,n?? 　　??2,i?j2、随机误差项具有0均值和等方差，即：? 　　cov(?i,?j)??,(i,j?1,2,?,n)? 　　?0,i?j? 　　E(?i)?0 　　，即假设观测值没有系统误差，随机误差?i的平均值为0，随机误差?i 　　的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即 　　为独立），不存在序列相关，并且具有相同的精度。 　　??i~N(0,?2),i?1,2,?,n2 　　?~N(0,?In),3、正态分布的假定条件为：，矩阵表示：? 　　??1,?2,??n相互独立 　　由该假定和多元正态分布的性质可知，随机变量y服从n维正态分布，回归模型的期望向量为：E(y)?X?；var(y)??2In 因此有y~N(X?,?2In) 三、多元线性回归方程的解释 　　对于一般情况含有p个自变量的回归方程E(y)??0??1x1??2x2????pxp的解释，每个回归系数?i表示在回归方程中其他自变量保持不变的情况下，自变量xi每增加一个单位时因变量y的平均增加程度。因此通常把多元线性回归的回归系数称为偏回归系数。下面看个例子，考虑国内生产总值GDP和三次产业增加值的关系，这个问题中GDP=x1?x2?x3是确定性的函数关系，可以看作误差项为 　　0的特殊回归关系。3个回归系数都是1，对?2解释为第二产业增加值x2每增加1亿元GDP也增加1亿元。假设做GDP对x2的一元线性回归，得到回归方程为 　　??5289.9?1.8554x2，对这个方程回归系数的解释是第二产业增加值每增加1y 　　亿元GDP增加1.8554亿元。两个回归方程对同样的经济现象给出了不同的解释，问题出在什么地方呢？多元回归系数表示在回归方程中其他自变量保持不变的情况下，相应自变量每增加一个单位时因变量的平均增加速度。因此在用多元回归方程GDP=x1?x2?x3解释?2=1时，一定要强调是在x1和x3保持不变的情况下， 　　??5289.9?1.8554x2解x2每增加1亿元GDP也增加1亿元。在用一元回归方程y 　　释回归系数时，要强调的是在方程之外的有关变量也相应变化时x2每增加1亿元GDP增加1.8554亿元。GDP增加的1.8554亿元中x2的直接贡献只用1亿元，回归方程外的x1和x3的贡献是0.8554亿元。这里又出现一个问题，为什么回归方程外的x1和x3贡献是0.8554亿元，而不是2亿元呢？可以通过考察数据，x2的增加幅度远大于x1和x3的增加幅度，假如x2增加1亿元，x1和x3相应的增加幅度都达不到1亿元。 四、参数估计 　　要想用OLSE估计多元线性回归模型的未知数，样本容量必须不少于模型中参数的个数。 　　在正态假定下，回归参数?的MLE（最大似然估计）与OLSE（最小二乘估计） 　　2?完全相同，即???(X?X)?1X?y，误差项方差?2的MLE为??L 　　1n 　　SSE? 　　1n 　　(e?e)，这 　　是?2的有偏估计，但它满足一致性，在大样本的情况下，是?2的渐近无偏估计量。 　　参数估计量的性质： 　　性质1，??是随机向量y的一个线性变换 性质2，??是?的无偏估计 性质3，D(??)??2(X?X)?1 　　性质4，高斯-马尔科夫（G-M）定理 　　（1）c???是c??的无偏估计 　　（2）c???的方差要小 　　　　高斯-马尔科夫定理 在假定E(y)?X?,D(y)??2In时，?的任一线性函数 　　?，其中c是任一p+1维常数向量，??是?的c??的最小方差线性无偏估计为c?? 　　最小二乘估计。 　　此定理说明了用OLSE估计得到的估计量??是理想的估计量。关于这条性质， 　　需要注意以下四点： 　　第一，取常数向量c