斜率估计值的方差越大。.ppt

Economics 20 - Prof. Anderson 简单回归模型 简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧 度量单位和函数形式 OLS估计量的期望值和方差 过原点回归 简单回归模型 简单回归模型的定义 在简单线性回归模型y = b0 + b1x + u中, 我们一般称y为： Dependent Variable（因变量） Left-Hand Side Variable Explained Variable（被解释变量） Regressand（回归子） 在简单线性回归模型y = b0 + b1x + u中, 我们一般称x为 Independent Variable（自变量） Right-Hand Side Variable Explanatory Variable（解释变量） Regressor（回归元） Covariate（协变量） Control Variables（控制变量） 简单回归的术语 A Simple Assumption（一个简单假设） 变量u称为 error term（误差项） 或者 disturbance（扰动项） 代表除了x之外影响y的其它因素。计量研究关注的是x而非u对y的影响，但u与x的关系至关重要。 如果u中的其他因素保持不变，则u的变动为零，x对y存在线性效应，可得2.2，其中b1为斜率参数。 总体中u的均值为零，意味着： E(u) = 0 既然我们可以用b0 将E(u)标准化为零， E(u) = 0 并非一个限制性条件。 零条件均值假定 u和x的相关性假定至关重要。 相关关系只度量了u和x之间的线性关系，u和x不相关，但却可能与x的函数比如x2相关。一种更好的方法是，对给定x时u的期望做出假定： u的平均值与x值无关，即 E(u|x) = E(u) = 0 E(y|x) = b0 + b1x ——population regression function（总体回归函数） 2.2普通最小二乘法的推导 回归的基本思想是利用样本估计总体参数 令 {(xi,yi): i=1, …,n} 表示从总体中抽取的一个容量为n的随机样本。 对于样本中的每一个观测，我们都可以写作 yi = b0 + b1xi + ui OLS估计值的推导 E(u|x) = E(u) = 0 意味着x和u之间的协方差也为零，即 Cov(x,u) = E(xu) = 0 因为：Cov(X,Y) = E(XY) – E(X)E(Y) OLS推导续 既然u = y – b0 – b1x我们可以将上述两个限制条件改写为由 x, y, b0 and b1 表达的式子 E(y – b0 – b1x) = 0 E[x(y – b0 – b1x)] = 0 这被称为矩条件。 运用矩法推导OLS 运用矩法进行估计意味着将总体的矩条件应用于样本矩条件. OLS推导续 给定样本均值的定义和求和的性质，条件一可改写为： OLS估计的斜率参数 OLS斜率估计值的相关总结 斜率估计值等于x和y之间的样本协方差除以x的样本方差。 斜率估计值的符号取决于x和y的正负相关性：x和y正相关，斜率估计值为正；x和y负相关，斜率估计值为负。 得到斜率估计值的必要条件是，x在样本中是有变异的。 OLS通过样本点来拟合曲线，使得残差平方和尽可能小，故称为“最小二乘”法。 残差?是误差项u的估计值, 等于实际观察值与拟合值（样本回归函数）之差。 推导的另一思路 根据拟合曲线的直观思想，我们可以通过建立最小化问题，即我们选择可使残差平方和最小化的参数： 推导的另一思路（续） 利用微积分优化，我们可得到OLS估计值的一阶条件： 例子 2.3 CEO 薪酬和股本回报率 2.3 OLS的操作技巧 拟合值和残差 OLS的代数性质 OLS残差之和等于零。 OLS残差的样本均值为零。 x与? 的样本协方差为零。 OLS回归线总是通过样本均值： 点 总在OLS回归线上 相关术语 证明: SST = SSE + SSR 拟合优度 计算总平方和被模型解释的比例，有助于了解样本回归线对样本数据的拟合是否良好? R2 = SSE/SST = 1 – SSR/SST Units of Measurement and Functional Form Units of Measurement and Functional Form (cont) Incorporating Nonlinearities in Sample Regression Example 2.11 CEO Salary and Firm Sales Units of Measurement and F