最小二乘法OLS和线性回归.ppt

第二章 最小二乘法（OLS）和线性回归模型 本章要点 最小二乘法的基本原理和计算方法 经典线性回归模型的基本假定 BLUE统计量的性质 t检验和置信区间检验的原理及步骤 多变量模型的回归系数的F检验 预测的类型及评判预测的标准 好模型具有的特征 第一节 最小二乘法的基本属性 一、有关回归的基本介绍 金融、经济变量之间的关系，大体上可以分为两种： （1）函数关系：Y=f(X1,X2,….,XP)，其中Y的值是由Xi（i=1,2….p）所唯一确定的。 （2）相关关系: Y=f(X1,X2,….,XP) ，这里Y的值不能由Xi（i=1,2….p）精确的唯一确定。 图2-1表示的是我国货币供应量M2（y）与经过季节调整的GDP（x）之间的关系（数据为1995年第一季度到2004年第二季度的季度数据）。 但有时候我们想知道当x变化一单位时，y平均变化多少，可以看到，由于图中所有的点都相对的集中在图中直线周围，因此我们可以以这条直线大致代表x与y之间的关系。如果我们能够确定这条直线，我们就可以用直线的斜率来表示当x变化一单位时y的变化程度，由图中的点确定线的过程就是回归。  对于变量间的相关关系，我们可以根据大量的统计资料，找出它们在数量变化方面的规律（即“平均”的规律），这种统计规律所揭示的关系就是回归关系（regressive relationship）,所表示的数学方程就是回归方程（regression equation）或回归模型（regression model）。 图2-1中的直线可表示为 （2.1） 如果我们以ｕ表示误差，则方程（2.1）变为： 其中yt被称作因变量 （dependent variable）、 被解释变量 （explained variable）、 结果变量 （effect variable）； xt被称作自变量 （independent variable）、解释变量 （explanatory variable）、 原因变量 （causal variable） α、β为参数（parameters）,或称回归系数（regression coefficients）； ｕt通常被称为随机误差项（stochastic error term）,或随机扰动项（random disturbance term）,简称误差项， 在回归模型中它是不确定的，服从随机分布（相应的，yt也是不确定的，服从随机分布）。 为什么将ｕt 包含在模型中？ （1）有些变量是观测不到的或者是无法度量的，又或者影响因变量yt的因素太多； （2）在yt的度量过程中会发生偏误，这些偏误在模型中是表示不出来的； （3）外界随机因素对yt的影响也很难模型化，比如：恐怖事件、自然灾害、设备故障等。 二、参数的最小二乘估计 (一) 方法介绍 本章所介绍的是普通最小二乘法（ordinary least squares,简记OLS）; 最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离的和最小，也可表述为距离的平方和最小。 假定根据这一原理得到的α、β估计值为 、 ，则直线可表示为 。 直线上的yt值，记为 ，称为拟合值（fitted value）,实际值与拟合值的差，记为 ，称为残差（residual） ，可以看作是随机误差项 的估计值。 根据OLS的基本原则，使直线与各散点的距离的平方和最小，实际上是使残差平方和（residual sum of squares, 简记RSS） 最小，即最小化： 根据最小化的一阶条件，将式2.4分别对、求偏导，并令其为零，即可求得结果如下 : （二）一些基本概念 1.总体（the population）和样本（the sample） 总体是指待研究变量的所有数据集合，可以是有限的，也可以是无限的；而样本是总体的一个子集。 2、总体回归方程（the population regression function，简记PRF），样本回归方程（the sample regression function，简记SRF）。 总体回归方程（PRF）表示变量之间的真实关系，有时也被称为数据生成过程（DGP），PRF中的α、β值是真实值，方程为： 于是方程（2.7）可以写为： （2.9） 总体y值被分解为两部分：模型拟合值（