计量经济学讲义第一讲.docxVIP

浙江工商大学金融学院姚耀军讲义系列

1

第一讲普通最小二乘法的代数

一、问题

假定y与x具有近似的线性关系：y=β0+β1x+ε,其中ε是随机误差项。我们对β0、β1这两个参数的值一无所知。我们的任务是利用样本数据去猜测β0、β1的取值。现在，我们手中就有一个样本容量为N的样本，其观测值是：(y1,x1),(y2,x2),...,(yN,xN)。问题是，如何利用该样本来猜测β0、β1的取值？

为了回答上述问题，我们可以首先画出这些观察值的散点图（横轴x，纵轴y）。既然y与x具有近似的线性关系，那么我们就在图中拟合一条直线：

=+x。该直线是对y与x的真实关系的近似，而,分别是对β0,β1的猜测（估计）。问题是，如何确定与，以使我们的猜测看起来是合理的呢？

笔记：

1、为什么要假定y与x的关系是y=β0+β1x+ε呢？一种合理的解释是，某一经济学理论认为x与y具有线性的因果关系。该理论在讨论x与y的关系时认为影响y的其他因素是不重要的，这些因素对y的影响即为模型中的误差项。

2、y=β0+β1x+ε被称为总体回归模型。由该模型有：E(yx)=β0+β1x+E(εx)。既然ε代表其他不重要因素对y

浙江工商大学金融学院姚耀军讲义系列

2

的影响，因此标准假定是：E(εx)=0。故进而有：E(yx)=β0+β1x，这被称为总体回归方程（函数），而

=+x相应地被称为样本回归方程。由样本回归方程确定

的与y是有差异的，y—被称为残差。进而有：

这被称为样本回归模型。

二、两种思考方法

法一：

(y1,y2,...,yN)’与(1,2,...,N)’是N维空间的两

点，与的选择应该是这两点的距离最短。这可以

归结为求解一个数学问题：

由于yi—i是残差i的定义，因此上述获得与的方法即是与的值应该使残差平方和最小。

法二：

给定xi，看起来yi与i越近越好（最近距离是0）。然而，当你选择拟合直线使得yi与i是相当近的时候，

yj与j的距离也许变远了，因此存在一个权衡。一种

简单的权衡方式是，给定x1,x2,..,xN，拟合直线的选择

应该使y1与2、y2与2、...、yN与N的距离的平均值

是最小的。距离是一个绝对值，数学处理较为麻烦，

浙江工商大学金融学院姚耀军讲义系列

3

因此，我们把第二种思考方法转化求解数学问题：

由于N为常数，因此法一与法二对于求解与的值

是无差异的。

三、求解

定义利用一阶条件，有：

c

由（1）也有：

y=+x

在这里

笔记：

这表明：1、样本回归函数=+x过点(x,y)，即穿过

数据集的中心位置；2、=y（你能证明吗？），这意味着，尽

管、的取值不能保证i=yi，但、的取值能够保证

浙江工商大学金融学院姚耀军讲义系列

4

的平均值与y的平均值相等；3、虽然不能保证每一个残差都为0，

但我们可以保证残差的平均值为0。从直觉上看，、作为对

β0、β1的一个良好的猜测，它们应该满足这样的性质。

(2)=0

(2)

c

笔记：

对于简单线性回归模型：y=β0+β1x+ε,在OLS法下，由正规方程（1）可知，残差之和为零【注意：只有拟合直线带有截距时才存在正规方程（1）】。由正规方程（2），并结合正规方程（1）有：

Σixi=0→Σ(i—)xi见练习=（1）提示Σ(i—)(xi—x)=0

→Cov(,x)=0

无论用何种估计方法，我们都希望残差所包含的信息价值很小，如果残差还含有大量的信息价值，那么该估计方法是需要改进

的！对模型y=β0+β1x+ε利用OLS，我们能保证（1）：残差均值为零；（2）残差与解释变量x不相关【一个变量与另一个变量相关是一个重要的信息】。

浙江工商大学金融学院姚耀军讲义系列

5

方程（1）与（2）被称为正规方程，把=y—x带

入（2），有：

=0

上述获得、的方法就是普通最小二乘法（OLS）。

练习：

（1）验证：

提示：定义Zi的离差为zi=Zi—Z，则离差之和zi=0必为

零。利用这个简单的代数性质，不难得到：

笔记：

定义y与x的样本协方差、