最小二乘法OLS和线性回归.ppt

章 最小二乘法（） 和线性回归模型 ;本章要点;第一节 最小二乘法的基本属性;图 货币供应量和散点图;图表示的是我国货币供应量（）与经过季节调整的（）之间的关系（数据为年第一季度到年第二季度的季度数据）。;但有时候我们想知道当变化一单位时，平均变化多少，可以看到，由于图中所有的点都相对的集中在图中直线周围，因此我们可以以这条直线大致代表与之间的关系。如果我们能够确定这条直线，我们就可以用直线的斜率来表示当变化一单位时的变化程度，由图中的点确定线的过程就是回归。 ;对于变量间的相关关系，我们可以根据大量的统计资料，找出它们在数量变化方面的规律（即“平均”的规律），这种统计规律所揭示的关系就是回归关系（ ）,所表示的数学方程就是回归方程（ ）或回归模型（ ）。;图中的直线可表示为 （）;如果我们以ｕ表示误差，则方程（）变为： ;其中被称作因变量 （ ）、 被解释变量 （ ）、 结果变量 （ ）；;α、β为参数（）,或称回归系数（ ）； ｕ通常被称为随机误差项（ ）,或随机扰动项（ ）,简称误差项， 在回归模型中它是不确定的，服从随机分布（相应的，也是不确定的，服从随机分布）。 ;为什么将ｕ 包含在模型中？ （）有些变量是观测不到的或者是无法度量的，又或者影响因变量的因素太多； （）在的度量过程中会发生偏误，这些偏误在模型中是表示不出来的； （）外界随机因素对的影响也很难模型化，比如：恐怖事件、自然灾害、设备故障等。;二、参数的最小二乘估计 (一) 方法介绍 本章所介绍的是普通最小二乘法（ ,简记）; 最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离的和最小，也可表述为距离的平方和最小。 假定根据这一原理得到的α、β估计值为 、 ，则直线可表示为 。;直线上的值，记为 ，称为拟合值（ ）,实际值与拟合值的差，记为 ，称为残差（） ，可以看作是随机误差项 的估计值。 根据的基本原则，使直线与各散点的距离的平方和最小，实际上是使残差平方和（ , 简记） 最小，即最小化：;根据最小化的一阶条件，将式分别对、求偏导，并令其为零，即可求得结果如下 :;（二）一些基本概念 .总体（ ）和样本（ ） 总体是指待研究变量的所有数据集合，可以是有限的，也可以是无限的；而样本是总体的一个子集。 、总体回归方程（ ，简记），样本回归方程（ ，简记）。;总体回归方程（）表示变量之间的真实关系，有时也被称为数据生成过程（），中的α、β值是真实值，方程为：;于是方程（）可以写为： （） 总体值被分解为两部分：模型拟合值（ ）和残差项（ ）。;.线性关系 对线性的第一种解释是指：是的线性函数，比如， 。 对线性的第二种解释是指：是参数的一个线性函数，它可以不是变量的线性函数。 比如， 就是一个线性回归模型， 但 则不是。 在本课程中，线性回归一词总是对指参数β为线性的一种回归（即参数只以一次方出现），对解释变量则可以是或不是线性的。;有些模型看起来不是线性回归，但经过一些基本代数变换可以转换成线性回归模型。例如， ;.估计量（）和估计值（） 估计量是指计算系数的方程；而估计值是指估计出来的系数的数值。;三、最小二乘估计量的性质和分布 （一） 经典线性回归模型的基本假设 （） ，即残差具有零均值； （） ∞,即残差具有常数方差，且对于所有值是有限的； （） ，即残差项之间在统计意义上是相互独立的； （） ，即残差项与变量无关； （）ｕ ,即残差项服从正态分布;（二）最小二乘估计量的性质 如果满足假设()－()，由最小二乘法得到的估计量 、 具有一些特性，它们是最优线性无偏估计量（ ，简记）。;估计量（）：意味着 、 是包含着真实α、β值的估计量； 线性（）：意味着 、 与随机变量之间是线性函数关系； 无偏（）：意味着平均而言，实际得到的 、 值与其真实值是一致的； 最优（）：意味着在所有线性无偏估计量里，估计量 具有最小方差。 ;(三) 估计量的方差、标准差和其概率分布 估计量的方差、标准差。 给定假设()－()，估计量