高级计量经济学3.docVIP

第3章 最小二乘法和最小二乘估计 Chapter 3 Least Squares 线性模型中的参数估计有多种方法，其中最小二乘法是最为著名的。即使已经发现其他方法比较优越，但是最小二乘法仍然是线性模型估计的基础方法，最小二乘估计的性质已经得到了广泛应用。 §3.1 最小二乘回归(least squares regression) 随机线性关系中的未知系数是我们考虑的重点，也是我们进行估计的主要目标。这时我们有必要区分母体变量(例如和)和它们的样本估计，对应地表示为和。母体回归方程可以表示为： 它的估计表示为： (3.1) 与第i个数据点相关的扰动项可以表示为： (3.2) 如果获得了回归系数的估计，则可以利用回归方程的残差来估计随机扰动项，即 (3.3) 根据这些定义和表示，可以得到： (3.4) 母体量是每个的概率分布中的未知系数，我们希望利用样本数据来估计这些参数。虽然这是一个统计推断问题，但是我们仍然可以直观地认为应该选取向量，使得拟合直线尽量地靠近数据点。如果描述这种靠近性，需要一定的拟合准则，其中最为广泛使用的是最小二乘法。 §3.1.1 最小二乘系数向量 可以通过极小化下述残差平方和来获得最小二乘系数向量。 (3.5) 其中表示系数向量的选择。利用矩阵形式表示上述残差平方和： (3.6) 将上述目标函数展开得到(注意利用标量的转置不变的性质)： (3.7) 极小化的一阶条件为(相当于对向量求导数，要么利用向量展开，要么利用向量求导公式)： (3.8) 假设是最小二乘的解，则它必须满足最小二乘正规方程(least square normal equations)： (3.9) 如果解释变量矩阵的满秩条件满足，则有： 这说明矩阵是可逆矩阵，因此正规方程的唯一解为： (3.10) 注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的Hessian矩阵： (3.11) 如果这个Hessian矩阵是正定的，则可以判断所得到的解是唯一的最小二乘解。 显然，根据正定矩阵的定义或者正定矩阵的判断准则，可知当矩阵的满秩条件满足时，矩阵是正定的，因此最小二乘解的充分性成立。 通过上述最小二乘解的表达式，我们可以得到最小二乘解的下述代数性质： 命题3.1 对于线性模型和相应的最小二乘估计，则有： (1) 最小二乘残差的和为零。即 (2) 回归超平面通过数据的均值点，即 (3) 从回归方程中获得的拟合值的均值等于样本观测值的均值，即 证明：(1) 根据正规方程，可知： 这说明对于矩阵的每一列，都有，由于矩阵的第1列中都是1，所以得到(因此这条性质成立的前提条件是回归模型中包含常数项)： (2) 正规方程表示为矩阵形式为： 将上述矩阵方程的第一个方程表示出来，则有： 根据数据的样本均值定义，则有： 也即： (3) 根据拟合值的定义：，即，则有： 上述矩阵方程的第一个方程可以表示为： 则有： 需要注意的是，上述命题成立的前提是线性模型中包含常数项，也就是第一个解释变量是“哑变量”形式。这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样的？ §3.1.2 投影和投影矩阵(projection and projection matrix) 获得最小二乘估计以后，可以获得下述最小二乘残差：