多元(复)回归分析精品.pptVIP

第三章 多元（复）回归分析 教师：卢时光 1. 复回归分析：估计问题 1.1 三变量模型：符号和假设 将双变量的总体回归模型（PRF）推广，就得到了三变量的总体回归模型。 其中，Y是应变量，X2和X3是解释变量，u是随机干扰项，i是指第i次观测值（当数据为实践序列时，下标t表示第t次观测）。系数β1和β2被称为偏回归系数。 我们继续在经典线性回归模型（CLRM）框架下，这样我们对模型做出如下假设： 其中（6）是说X2与X3之间没有精确的线性关系，专业上称为无共线性或无多重共线性。无共线性是说没有一个解释变量可以写成其余解释变量的线性组合。如果不存在一组不全为零的数λ2和λ3，使得： 如果是这关系存在，我们就说， X2与X3的共线的或线性相关。令一方面，如果这一关系仅当λ2=λ3=0时存在，则X2与X3线性独立。 （a）图表示X2和X3不存在线性关系。（b）图中，区域Y的3和4区域的变异是由于X2引起的，而Y的4和5区域的变异是由于X3引起的，但是区域4是X2和X3共有的，我们无法精确地区别开来，这样区域4代表了共线性。无共线性就要求像（a）图那样，解释变量没有重叠区域。 1.2 对复回归方程的解释 对式子两边求条件期望： 这样，式子给出以变量X2和X3的固定值为条件的Y的条件均值或期望值。如同双变量回归分析，复回归分析是以多个解释变量的固定值为条件的回归分析，并且我们所获取的，是变量X值固定时的Y的平均值或Y的平均响应。 1.3 偏回归系数的含义 偏回归系数的含义如下：β2度量者在保持X3不变的情况下，X2每变化1单位，Y的均值E（Y|X2,X3）的变换。换句话说,β2给出保持X3不变时Y的均值E（Y|X2,X3）对X2的斜率。类似的,β3度量者在保持X2不变的情况下，X3每变化1单位，Y的均值E（Y|X2,X3）的变换。 如何理解保持不变？假定Y代表产出，X2和X3分布代表劳动和资本投入。再假定X2和X3都是生产必须的，且它们用于生产的投入比例可以变换。当劳动投入增加一个单位带来的产出的增加（劳动的边际产量）。在这里有一个前提，就是劳动增加的同时，资本投入的数量保持不变，否则我们无法区分在增加的Y中，那些是由于劳动X2的增加带来的，那些是由于资本X3增加带来的。只有想办法使得资本X3投入保持不变，才能衡量劳动X2投入对产出增长的真实贡献。 1.4 偏回归系数的OLS估计 先写出样本回归函数（SRF）： OLS方法是要选择未知参数的值，使得残差平方和尽可能的小，用符号表示为： 对未知数求微分，并令表达式为零，得到下述正则方程： 按照用小写字母表示对样本离差的惯例，解正则方程得： β2和β3最小二乘估计量的性质： （1）可以从方程2和方程3中通过x2和x3的对调得到另外一个，所有它们本质上是对称的； （2）两个方程的分母完全相同； （3）三变量情形是双变量的自然推广。 得到偏回归系数的OLS估计量，既可以推出这些估计量的方差和标准误。我们计算标准误有两个目的：建立置信区间和检验统计假设。下列公式不加证明的给出，相关推导过程请参阅文献。 仿照前章，我们能够证明δ2的一个无偏估计量是（注意：这里的自由度是（n-3），因为我们在估计残差之前必须要估计参数β1、β2和β3 ，所以消耗了3个自由度。） 1.5 OLS估计量的性质 1. 三变量回归线（面）通过均值 。(为什么？) 2. 估计的Yi的均值等于真实Yi的均值。证明： 3. 4. 残差 与Y，X2和X3均不相关，于是有 5. 根据式子： 随着X2和X3的相关系数r23增大， 的方差也在增大，在r23=1时，完全共线性，这些方差变得无限大。直观地看，随着r23的增大，要知道β2和β3的真值越来越难。而X的样本值变化越大（x越大），则方差越小，从而能够更精确的估计β2和β3 。 1.6 复判定系数R2 在三变量模型中，我们想知道Y的变异由X2和X3联合解释的比例，提供这一信息的数量被称为复相关系数，记为R2。 式中各项均可以从样本数据中计算得出，因此R2也很容易得到。R2是一个落在0和1之间的数。如果是1，则所拟合的回归线100%的解释了Y的变异；如果是0，则模型不解释任何Y的变异。R2越靠近1，说明模型的“拟合”越好。 1.7 校正的R2 R2有一个重要的性质，即它是出现在模型中的解释变量个数的非减函数。随着解释变量个数的增加， R2必然增大而不会减少。回忆R2的定义： 这里， 与模型中X的变量没有关系。但是RSS即 与模型中的X个数有关。随着X的个数增加， 模型的