计量经济学-中-（7）非线性似然估计.ppt

高斯-马尔科夫定理 在满足基本假定的前提下，对于线性回归模型，普通最小二乘法得到的参数估计量，具有BLUE 性质（最小方差线性无偏估计量） 第10章 非线性估计与极大似然估计 §10.1 非线性估计 §10.2 极大似然估计法 §10.3 ARCH模型与GARCH模型 §10.1 非线性估计 前面讨论的单方程回归模型中，它们都是关于参数线性的。通常利用普通LS法、加权LS法等估计这些参数。下面将参数线性模型拓宽到本质上非线性的情形，如模型 这些模型无法变换为线性模型，因此线性LS不再适用。但误差平方和最小化原则仍然可以施行，所得到的参数估计，我们称为非线性LS估计。考虑一般 模型 其中f是k个自变量X1,X2,…,Xk和p个参数β1,β2,…,βp的非线性函数。如果具有Y与X1,X2,…,Xk的T个观测，利用误差平方和最小化可得参数的非线性LS估计： 1、非线性估计的计算方法 求解参数的非线性LS估计，要比线性模型的LS估计复杂的多，通常采用数值解法。以下三种方法较常见： ⑴直接查找法： 是指对不同的参数值比较误差平方和S函数的值，使S最小的那组值就是参数的估计值。这种方法适用于所有参数仅有若干取值的情形。 ⑵直接优化法 误差平方和S关于各参数求偏导，得到相应的正规方程 通过求解正规方程组，获得参数估计。 由于正规方程关于参数是非线性的，通常采用数值解法如梯度法(参数从初始数值集朝使函数值下降最快的方向逼近，亦称最速下降法) ⑶循环线性化法 是指将非线性方程在某个参数的初始数值集附近线性化，然后用普通LS法得到参数的新数值集；再把非线性方程在新的数值集附近重新线性化，用普通LS法得到参数更新的数值集，如此循环反复直至数值集变化很小(即数值集收敛)，作为参数的最终取值。 其中利用了关于以参数为变元函数的一阶泰勒级数展开式 上式可变形为 这是关于参数的线性模型，用普通LS法可以得到参数的LS解，作为参数新的数值集，替换(10.1)式的初始数值集。如此循环下去直至 这里δ为指定的一个正数，如0.01。 2、非线性回归方程的评价 由于非线性回归方程的残差 不再服从正态分布，因此残差平方和也不再服从Χ2分布，原来线性模型中的F分布、t分布不在适用了。但拟合优度R2仍然是有用的 3、非线性回归方程的预测 一旦得到了非线性方程的估计，就可以用它来预测。因此Y的点预测为 但由于YT+1不再服从正态分布，因此其预测区间无法类似于第8章那样给出。但通过参数服从正态分布的假定，利用蒙特卡罗模拟方法，可以得到YT+1的一个近似预测区间。下面说明模型 的预测区间产生办法。 ⑴确定蒙特卡罗模拟方程 其中β0,β1,β2是最后一次循环线性回归参数的数值解，利用残差平方和及参数估计的标准差构造相应的正态随机变量ε与η0,η1,η2，它们均值都等于0，标准差为对应值。 ⑵产生ε与η0,η1,η2的正态随机数，由上式可以计算YT+1的预测值。 ⑶重复第二步100至200次，获得YT+1的预测值的样本标准差，从而得到YT+1的近似预测区间。 §10.2 极大似然估计法 参数极大似然估计，在一般情况下具有一致性和渐近有效性这两个优良性质。 1、极大似然估计法 现在先从最简单的一元线性模型阐明极大似然估计法 Yi的密度函数为 则似然函数是密度函数在所有N个观测取值的乘积，即 极大似然估计的目标是寻找最可能生成样本观测Y1,…,YN的参数α,β,σ2的值，即使对数似然函数logL最大的参数值。 对数似然函数关于参数求偏导可得 解出参数α,β,σ2的值，就得到了对应参数的极大似然估计。不难发现方程组中含α,β的前两个方程与普通LS估计是一样的。 σ2的极大似然估计为 对一般非线性模型 ε服从N(0,σ2)，其对数似然函数定义为 类似于一元线性模型可以求出参数的极大似然估计，只是在许多情况下β只能得到数值解，但总有 有趣的是可以得到各个参数β估计方差的近似值 2、似然比检验 下面用极大似然比检验模型中一些参数β=0的原假设。用L(βUR)表示没有限制条件时对数似然函数的最大值，L(βR)表示有限制条件时对数似然函数的最大值，显然有L(βUR)≥ L(βR)，若原假设成立，两者应十分接近。 λ称为似然比。通常更多地考虑两者的差，即统计量 其中m为限制条件个数。如果统计量大于临界值，就认为两者存在较大的差异，即原假设不成立，这些参数不为0。 3、一个应用：Box-Cox模型 考虑下面的Box-Cox模型 当参数λ=1时，模型化为线性模型 当λ趋于0时，有 所以 对X作类似处理