第二章-经典线性模型.pdf

第二章 经典线性模型 第二章 经典线性模型 第 1 页 共 24 页 第二章 经典线性模型 2.1 LS 估计 2.1.1 基本假定 经典多元线性回归模型设定如下： (2-1) 其中， 为K 维的解释变量， ； 为未知参数。 式（2-1 ）对应的矩阵表示如下： (2-2) 其中， ， ， 。 为了保证上式的LS 估计量具有某些良好的性质以及进行某些必要的推断，我们需要对 其施加某些相应的假定。 经典的假定有如下4 点： 假定2-1（满秩假定）： 。 满秩假定保证了LS 估计量存在唯一解。 假定2-2 （外生假定）： 。 外生假定保证了LS 估计量具有无偏性和一致性（非必要条件）。 假定2-3 （球形假定）： 。 球形假定保证了LS 估计量的有效性。 假定2-4 （正态假定）： 。 在外生假定与球形假定的基础上进一步假定误差的条件分布为正态分布，其目的在于可 以计算某些统计量的分布以便进行假设检验。这一假定在有限样本下尤其重要，但在大样本 时，由于存在中心极限定理，可以不再需要。 第 2 页 共 24 页 第二章 经典线性模型 2.1.2 估计 LS 估计的目标在于最小化估计得到的残差平方和。 以“^ ”表示参数或序列对应的估计结果（下同）。 记 为 的任意估计，式（2-2 ）的估计结果为： ，其中e 为误差的估 计，也称为残差；对应的最优化目标函数为： 。 LS 估计量定义如下： (2-3) 目标函数Q 对 求一阶导，可得： 令一阶导为0，可解得 (2-4) 目标函数Q 对 求二阶导，可得： 所以，式（2-4 ）为目标函数的最小解。 不妨记Y 的拟合值（或估计值）为 ，则有 其中， ， 。 容易证明， 和 为相互正交的对称幂等矩阵。 可知LS 估计的作用相当于把变量Y 中所有关于X 的影响通过正交变换全部分离出去， 因此得到的残差不再具有X 的影响。 但是，通过直接最小化残差平方和并不能使我们获得另一参数 的估计，在LS 估计 的框架下，通常使用下式作为参数 的估计： (2-5) 其中，s 称为回归标准误。 以下在不引入误解的情况下，不妨将 简记为