古典假设和最小二乘.doc

古典假设与最小二乘 5、双残差回归 对于双残差回归，首先考察它的由来，然后进一步讨论由它引申出的一些性质。 （1）残差的定义 由，可以得到： 其中，它是一个对称幂等矩阵，存在的性质。因此表示了对回归得到的残差。 （2）双残差回归 (分割矩阵) 我们记： 两边同时左乘，并用矩阵表示可以得到： 利用分块矩阵求逆的公式可以得到： 再代回到方程中，并整理可以得到： 其中：，， 对上式进行理解：表示了对回归得到的残差，表示了对回归得到的残差，即：。它表示的是残差对残差回归的参数估计。进一步理解：残差中扣除了中包含的的信息；残差扣除了中包含的的信息。因此双残差（、）回归仅反应了在扣除了的影响后，对的作用情况，同样说明了系数表示的是变量与的偏相关。 同样，的表示与一样，它们是一种对称的关系。 （3）经济解释与实际应用 双残差回归得到的偏回归系数与统计中的偏相关系数是密切联系的，但不是严格意义上的偏相关系数。所谓偏相关系数，就是扣除了中间变量影响后的相关系数。它与简单相关系数的一个主要区别在于，通常情况下，简单相关系数不仅包含了两个变量之间的直接相关关系，还包括了变量间的间接相关关系（通过中间变量的相关性传导）。一种极端的情况是：变量间的相关关系完全是由间接相关关系引起的。如果是这样，那么在控制了中间变量的影响之后，两个关注变量之间就表现为不相关。又或者说，两个变量之间的简单相关关系是一种负相关的关系，但是在控制了中间变量影响后就可能表现为正相关。 举例来说，假设回归方程为，要计算与Z之间的偏相关系数，具体的计算步骤如下： （1）对X进行回归，得到回归残差（） （2）对X进行回归，得到残差 （3）与Z之间的偏相关系数就是与之间的简单相关系数。可以简单的写成平方形式为： （残差的均值为零，上下N消去，可证明） 在计量经济学中有关注变量和控制变量的说法，就是对应了以上的原理。不妨假设在一个典型的线性回归方程中，变量集是我们的关注变量集，相应的就是我们的控制变量集。估计系数表示的就是在控制了变量集后，对的影响。也就是通常说的，在其他变量保持不变的情况下，的变化引起的的变化。很显然，在不同的情况下，我们可以改变我们的控制变量集，来看我们的关注变量系数是否发生显著的变化，这在实证中是很重要步骤和思想。控制变量的t值大小可以不必过于在意。 小结： 双残差回归思想的理解和具体步骤 其中：，， 假设现在要求的是系数 （1）对进行回归，得到回归的残差记为。 （2）对进行回归，得到回归的残差记为 （3）对回归，得到的参数估计就是的估计值。 残差中扣除了中包含的的信息；残差扣除了中包含的的信息。因此双残差（、）回归仅反应了，在扣除了的影响，对的作用情况，同样说明了系数表示的是变量与的偏相关。 同样，的表示与一样，它们是一种对称的关系。 双残差回归得到的偏回归系数与统计中的偏相关系数是密切联系的，但不是严格意义上的偏相关系数。所谓偏相关系数，就是扣除了中间变量影响后的相关系数。它与简单相关系数的一个主要区别在于，通常情况下，简单相关系数不仅包含了两个变量之间的直接相关关系，额包括了变量间的间接相关关系（通过中间变量的相关性传导）。一种极端的情况是：变量间的相关关系完全是由间接相关关系引起的。如果是这样，那么在控制了中间变量的影响之后，两个关注变量之间就表现为不相关。又或者说，两个变量之间的简单相关关系是一种负相关的关系，但是在控制了中间变量影响后就可能表现为正相关。 在计量经济学中有关注变量和控制变量的说法，就是对应了以上的原理。不妨假设在一个典型的线性回归方程中，变量集是我们的关注变量集，相应的就是我们的控制变量集。估计系数表示的就是在控制了变量集后，对的影响。也就是通常说的，在其他变量保持不变的情况下，的变化引起的的变化。很显然，在不同的情况下，我们可以改变我们的控制变量集，来看我们的关注变量系数是否发生显著的变化，这在实证中是很重要步骤和思想。控制变量的t值大小可以不必过于在意。 6、方差分解和拟合优度 （1）方差分解 在初等计量中：考虑一个线性回归方程式： 方程两边同取平均值，为 两式相减得到： （二倍交叉项为零） 也就是：，即: 总离差平方和＝残差平方和＋回归平方和。 于是可以得到可决系数，它可以用来判别模型的拟合优度。 在格林教材中，对于可决系数的计算是用矩阵来表达的。记单位向量，令矩阵，可以证明也是一个对称幂等矩阵。 对任意的列向量，有如下结论成立： （a） （b） 则 定义可决系数。 四、思考题 1、阐述双残差回归的步骤和其中体现的统计思想。 2、证明在线性回归中增加新的解释变量会使得可决系数增大。即上述定理 eq \o\ac(○,2) 3、定义，，是中的部分解释变量。证明： 第三部分 最小二乘（OLS）的有限样本