Chapter1_线性回归模型的OLS估计.docxVIP

线性回归模型线性回归模型用于考察多个自变量对一个因变量的影响。例如施肥量、土质与作物产量的关系；受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等。以双变量为例。x1、x2对y存在影响，同时x1和x2之间也存在相关关系。如图所示。X1X2y模型设定假定变量yt与k个变量xt j, j = 1, … , k，存在线性关系。多元线性回归模型表示为， 1.1其中yt是被解释变量（因变量），xj t是解释变量（自变量），ut是随机误差项，i, i = 0, 1, … , k是回归参数（通常未知）。这说明xj t, j = 1, … , k, 是yt的重要解释变量。ut代表其他影响yt变化的随机因素。 给定一个样本（yt , xt1, xt2 ,…, xt k），t = 1, 2, …, T，上述模型表示为， 1.2令 , , 则(3.3) 式可以写为， y = X + u 1.3参数估计参数的点估计最小二乘法（OLS）设残差平方和用Q表示， 1.4上式中，因为和是一个标量（）的结果是一个数值标量，而不是向量，同理也是标量；向量是既有大小又有方向的量），所以有。求Q对的一阶偏导数，并令其为零， 1.5化简得， 假定1 解释变量之间线性无关。Rank(XX) = Rank(X) = K＋1 1.6其中Rank()表示矩阵的秩，矩阵的秩等于它所含的线性无关的列向量的最大数目，有:秩(A)= 秩(A’)≤min(行数，列数)，。即解释变量之间彼此线性无关。如果假定1成立，可以直接得到的最小二乘估计量， 1.7Stata程序实现的例子：******************************************************************begin1/*下面是最简单的一元回归，操作一下看结果*/use consume, clear //使用consume.dta数据文件regress consume income /*用reg命令回归，常数项是stata自动加入的*/reg consume income if income300 //对收入（income）大于300的样本进行回归reg consume income in 5/11 //对第5至11个样本进行回归regress consume income //再对全部回归样本回归一次，因为下面要用到回归的预测值predict y, xb //根据X预测y的拟合值predict e, residual //预测回归残差值list //列出所有变量/*根据公式估计*/local N = _N //取得样本个数，_N是系统变量，其值等于样本数量gen cons = 1 //生成一列值全为1的向量，对应于式1.1中的常数项mkmat consume, mat(y) //将数据库中的consume列定义为矩阵y（此时y是向量）mkmat income cons, mat(X) //将数据库中的imcome列和新生成的定义为矩阵Xmat b = inv(X*X)*X*y // 式的stata实现mat list b //列出向量值，和reg结果比较看是否一样mat list y //列出y的观测值，和前面是一样的mat list X //列出X矩阵的值，注意到它有一列是1，即常数项取值为1（对应）****************************************************************over1表示y的拟合值，表示残差项。拟合值和残差项经常表示为另外一种形式： 1.8 1.9其中，，称为映射矩阵。Py表示y对X回归的拟合值。，称为零化子矩阵。My表示y对X的残差项。因此，y总是可以表示为y=Py+My。可以证明，P和M都是对称幂等矩阵，即 M = M ，P = P M2 = M M = M ，P 2 = P P = P 1.10且有 PX=X， MX=0 1.11M+P=I，PM=0 由正规方程组可得，即。进而可得。即FML定理接下来我们介绍OLS估计量的一个重要性质，即FML定理（Frisch and Waugh(1933)、Lovell (1963)）。这一定理体现了线性回归模型参数的经济含义。在虚拟变量等问题的处理中重要的应用。将所有的解释变量拆分为两部分。模型表述为： 1.12残差平方和为： 1.13其中和为标量（可以看到，所有的矩阵表达式结果均为标量，但值不一样，只能把和这二个标量值相同的项合并），同样，对应的正规方程组为： 1.14由（1）式可得： 1.15由此可以看出，如果，则。即当X2与X1正交时，模型与的参数估计量是