估计值的方差会有不良影响.PPTVIP

Economics 20 - Prof. Anderson 多元回归分析：估计 y = b0 + b1x1 + b2x2 + . . . bkxk + u 3.1 使用多元回归的动因 含有两个自变量的模型 关键的假设是方程3.5中u与x1和x2的关系。 有K个自变量的模型 多元回归方程的相关定义及性质 b0 为截距； b1 到 bk 为斜率参数； u 仍然为误差项或扰动项； 零条件均值假设： E(u|x1,x2, …,xk) = 0； 残差平方和最小化，可得k+1个一阶条件。 OLS的机制与解释 OLS Estimates结果是 OLS回归方程的解释 例子3.1：大学生GPA的决定因素 例子3.2：小时工资方程 在多元回归中保持其他因素不变的含义 多元回归分析的作用是，提供了一个“在其他因素保持不变”下的解释，尽管我们的数据并非以这种方式搜集。 同时改变两种以上因素时参数的含义 OLS拟合值与残差项 多元回归参数估计值表达式 证明: 简单线性回归于多元线性回归估计值比较 例子3.3 401（K）养老金计划的参与率 拟合优度 例子3.4 大学GPA的决定因素 例子3.5 解释被逮捕的记录 OLS估计的期望值 多元回归的假设： Assumption MLR.1: 总体参数线性：y = b0 + b1x1 + b2x2+…+ bkxk+ u Assumption MLR.2: 随机抽样：从总体随机抽样 获得一个样本容量为n的样本{(xi1, xi2 ,…, xik, yi): i=1, 2, …, n}. 样本模型可写为： yi = b0 + b1xi1 + b2xi2+…+ bkxik+ ui Assumption MLR.3: 零条件均值E(u| x1, x2 ,…, xk) = 0 模型误设： cons = b0 + b1inc + b2inc2+ u 遗漏重要因素; 测量误差. Assumption MLR.4: 自变量之间不存在完全共线性：在样本（因而在总体）中，没有任何一个自变量是常数，自变量之间也不存在严格的线性关系。 MLR.4 允许自变量之间存在相关性，但不能是完全相关。 一个变量是另一个变量的常数倍。 一个自变量恰好可以表达成其他两个或多个自变量的线性函数。 样本容量n相对于被估计的参数个数而言太小。 Proof: 在回归模型中包括了无关变量 在模型设定中包括了无关变量，对参数估计值没有影响，OLS估计仍然无偏，但对OLS估计值的方差会有不良影响。（证明见后面） 如果在模型中遗漏了一个应该包括进来的变量，OLS估计还会保持无偏吗？ 遗漏变量偏误 遗漏变量偏误（续） 遗漏变量偏误（续） 遗漏变量偏误（续） 遗漏变量偏误总结 偏误等于零的两种情况: b2 = 0, 即 x2 不应该包括在这个模型中。 在样本中x1 和 x2 是不相关的。 偏误方向总结 遗漏变量偏误：更一般的情形 从技术上看，对更一般的情形来说，只有当所包括的自变量都不相关时，我们才能判定偏误的符号。 因此，在研究偏误方向时，我们假设x不相关，并以此作为一个有用的指导，尽管这一假设在严格意义上来说并成立。 一个一般的结论： 在一个三变量多元回归中，假设遗漏了x3，且x1与x3相关，但x2与x3无关。 如果x1与x2无关，则对b2的估计是无偏的； 如果x1与x2相关，则对b2的估计是有偏的。 OLS估计量的方差（续） 令 x代表 (x1, x2,…xk)，假设 MLR.5: Var(u|x) = s2 可写成 Var(y| x) = s2 前面4个假设是为了无偏性，加上同方差性假设即构成横截面数据的高斯-马尔科夫假设。 OLS估计量的方差（续） 证明： OLS估计值方差的组成 误差方差: s2越大，OLS估计值方差越大。 总样本差异性：SSTj 越大， OLS估计值方差越小。 自变量之间的线性相关性：Rj2越大，参数估计值的方差也越大。 误设模型 误设模型（续） 误设模型的参数估计值方差更小，除非b2 = 0 ,误设模型是有偏误的。 随着样本容量增大（SSTj增大），每个参数估计值方差收缩至零，使得方差的差异不再重要。 两种权衡选择 当自变量之间存在多重共线性时，参数估计值之方差将会增大（T值将变小），但可能获得无偏的估计。 如果将引起多重共线性的其中一个或多个变量在模型中删掉，则会引起遗漏变量偏误问题。 如果我们关心的是b1，x2与x3之间的相关性无关重要。 误差方差估计（续） df = n – (k + 1), or df = n – k – 1 df (自由度)等于观测数n-估计参数个数k+1. OLS的有效性：高斯-马尔科夫定理 偏误为正 偏