最小二乘法OLS和线性回归课件.ppt

第二章 最小二乘法（OLS）和线性回归模型;本章要点;第一节 最小二乘法的基本属性;图2-1 货币供应量和GDP散点图;图2-1表示的是我国货币供应量M2（y）与经过季节调整的GDP（x）之间的关系（数据为1995年第一季度到2004年第二季度的季度数据）。;但有时候我们想知道当x变化一单位时，y平均变化多少，可以看到，由于图中所有的点都相对的集中在图中直线周围，因此我们可以以这条直线大致代表x与y之间的关系。如果我们能够确定这条直线，我们就可以用直线的斜率来表示当x变化一单位时y的变化程度，由图中的点确定线的过程就是回归。 ;对于变量间的相关关系，我们可以根据大量的统计资料，找出它们在数量变化方面的规律（即“平均”的规律），这种统计规律所揭示的关系就是回归关系（regressive relationship）,所表示的数学方程就是回归方程（regression equation）或回归模型（regression model）。 ;图2-1中的直线可表示为 （2.1）;如果我们以ｕ表示误差，则方程（2.1）变为： ;其中yt被称作因变量 （dependent variable）、 被解释变量 （explained variable）、 结果变量 （effect variable）；;α、β为参数（parameters）,或称回归系数（regression coefficients）； ｕt通常被称为随机误差项（stochastic error term）,或随机扰动项（random disturbance term）,简称误差项， 在回归模型中它是不确定的，服从随机分布（相应的，yt也是不确定的，服从随机分布）。 ;为什么将ｕt 包含在模型中？ （1）有些变量是观测不到的或者是无法度量的，又或者影响因变量yt的因素太多； （2）在yt的度量过程中会发生偏误，这些偏误在模型中是表示不出来的； （3）外界随机因素对yt的影响也很难模型化，比如：恐怖事件、自然灾害、设备故障等。;二、参数的最小二乘估计 (一) 方法介绍 本章所介绍的是普通最小二乘法（ordinary least squares,简记OLS）; 最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离的和最小，也可表述为距离的平方和最小。 假定根据这一原理得到的α、β估计值为 、 ，则直线可表示为 。;直线上的yt值，记为 ，称为拟合值（fitted value）,实际值与拟合值的差，记为 ，称为残差（residual） ，可以看作是随机误差项 的估计值。 根据OLS的基本原则，使直线与各散点的距离的平方和最小，实际上是使残差平方和（residual sum of squares, 简记RSS） 最小，即最小化： ;根据最小化的一阶条件，将式2.4分别对、求偏导，并令其为零，即可求得结果如下 :;（二）一些基本概念 1.总体（the population）和样本（the sample） 总体是指待研究变量的所有数据集合，可以是有限的，也可以是无限的；而样本是总体的一个子集。 2、总体回归方程（the population regression function，简记PRF），样本回归方程（the sample regression function，简记SRF）。;总体回归方程（PRF）表示变量之间的真实关系，有时也被称为数据生成过程（DGP），PRF中的α、β值是真实值，方程为：;于是方程（2.7）可以写为： （2.9） 总体y值被分解为两部分：模型拟合值（ ）和残差项（ ）。;3.线性关系 对线性的第一种解释是指：y是x的线性函数，比如，y= 。 对线性的第二种解释是指：y是参数的一个线性函数，它可以不是变量x的线性函数。 比如，y= 就是一个线性回归模型， 但 则不是。 在本课程中，线性回归一词总是对指参数β为线性的一种回归（即参数只以一次方出现），对解释变量x则可以是或不是线性的。;有些模型看起来不是线性回归，但经过一些基本代数变换可以转换成线性回归模型。例如， ;4.估计量（estimator）和估计值（estimate） 估计量是指计算系数的方程；而估计值是指估计出来的系数的数值。;三、最小二乘估计量的性