第一部分4 GLS和MLE(三大检验).docVIP

第四章 GLS和MLE 一、广义最小二乘法（GLS） 1、回归模型 总体回归方程可表示为：。 当取不同的形式时，也就构成了不同的模型，包括：线性、非线性和非参数等。我们这里的是线性模型(一元或多元)：其中： ，， 表示样本数量，表示解释变量个数（包含了常数项），当时就是一元线性回归模型。而表示的是随机扰动项，包含了除了解释变量以外的其他影响因素。若遗漏变量，则这个变量也将被扰动项所包含。 2、在无异方差和无自相关的假定下，残差项的方差协方差矩阵是一个对角阵，并且主对角线的元素都相同。即有： 此时OLS估计量是最优线性无偏估计BLUE） 问题的提出：若扰动项违背球形假定，结果怎样？ （1） 其中Ω是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。 （1）异方差时 存在异方差时的后果：OLS估计量是线性无偏估计，但不是最有效的。 处理方法： 第一条思路：找到最优线性无偏估计。具体方法加权最小二乘法（WLS），也就是模型变换法； 第二条思路：存在异方差时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。 具体参见本科课程 （2）自相关时 存在自相关时的后果：OLS估计量是线性无偏估计，但不是最有效的。 处理方法： 第一条思路：找到最优线性无偏估计。具体方法广义差分方法； 第二条思路：存在自相关时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。 具体参见本科课程（利用广义差分方法处理，具体参见本科课程） （3）同时存在异方差和自相关时 存在异方差、自相关时的后果：OLS估计量是线性无偏估计，但不是最有效的。 处理方法： 第一条思路：找到最优线性无偏估计。具体方法广义最小二乘（GLS）； 第二条思路：存在异方差、自相关时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。 3．GLS GLS的思想十分简单，就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。由于(是一个正定的对称矩阵，由矩阵代数的知识，我们知道。 在古典回归方程两边同乘，得到： 或者写成： ） 可以看出，显然满足古典假定，因此可以用OLS对该式进行估计。得到如下结果： FGLS（可行的GLS） FGLS是GLS在实际问题中的应用。显然，如果方差协方差矩阵是(已知的，那么GLS就是最优的估计方法。但是，在实际的问题中，(往往是未知的。这就要求我们必须先对矩阵(进行估计，得到，然后再按照上述GLS的方法对回归模型进行估计。 , θ为参数，X为观察值。 Poisson 分布，X所有的可能取值为0,1,2……。取各值的概率既和x有关，也和参数θ有关。 思考问题：现得到10个观测值，5，0，1，1，0，3，2，3，4，1,估计其参数。 解答：似然函数 具体的： 该似然函数给出由具有未知参数θ的泊松分布生成数据时，观察到特定样本的概率。什么样的的θ使这个样本最为可能。 考虑最大化这个函数。由于对数函数是单调递增的，而且便于处理，因此通常最大化lnL(θ)，即最大化对数似然函数。 又因为 2、极大似然函数及其估计的基本原理似然函数的定义： 从总体中经过N次随机抽取得到样本容量为N的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，各样本的抽取是独立的，因此容易得到样本的联合密度函数。似然函数样本观测值联合概率函数似然函数的表示： 设总体的概率密度函数为，其类型是已知的，但含有未知参数，观测值的联合密度函数为：样本的似然函数，包含有未知参数。 原理： 极大似然估计的原理就是寻找参数估计量，使得似然函数达到最大，就称为极大似然估计量。通过取对数以及一阶条件可以求得该参数估计值。的必要条件是 一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大似然估计量 (MLE) 具有一致性和渐近有效性。 （2）例2，经典线性回归模型的最大似然估计量 线性回归模型的MLE yt = (0 + (1 xt1 + ( 2 xt 2 + … + ( k-1 xt k -1 + ut , t = 1, 2, …, T, 进行极大似然估计。假定ut ( N(0, ( 2 ), 则yt 也服从正态分布。 yt ( N(E( yt), ( 2 )， 其中E( yt) = (0 + (1 xt1 + ( 2 xt 2