第1节最大似然估计.pptVIP

总体的对数似然函数为： 样本的对数似然函数为： 很明显若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计；但是，如果雅可比行列式包括θ，最小二乘法不是最大似然法。 最大化对数似然函数的一阶条件为： 3、说明 非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布； 分布参数的最大对数似然估计是渐近无偏和一致估计。 非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估计。 在特殊情况下，雅克比行列式为1，最大对数似然估计才等 价于非线性最小二乘估计，条件如下： 四、异方差和序列相关的最大似然估计 1、思路 经典模型异方差问题或者序列相关问题的处理方法： 一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用OLS进行估计，例如WLS、GLS等； 一类是修正OLS估计量的标准差，纠正模型具有异方差性或者序列相关性时OLS估计量的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如White修正、Newey-West修正方法等。 非线性ML方法 将异方差问题或者序列相关问题看成一类非线性问题，采用ML估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。 2、异方差的最大似然估计 被解释变量样本的对数似然函数为： 对异方差的结构给出假定，可以对模型的参数β和Ω的参数α进行最大似然估计。 3、例题 OLS ML 注： 线性模型，截面样本，一般存在异方差。 时间序列也有可能有异方差，常见金融时间序列。 采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。 在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性方法的意义所在。 4、序列相关的最大似然估计 首先假定模型随机误差项的序列相关结构。一般以AR(1)、MA(1)、ARMA(1,1)为常见。 求出随机误差项对被解释变量的偏导数表达式，即得到雅克比式。 构造最大似然函数。 同时得到模型参数和随机误差项的序列相关结构的估计结果。 假定模型随机误差项的序列相关结构为AR(1) 按照非线性模型ML显示： 此时，n变为T，且有 所以，对数似然函数为： 中心化对数似然函数： 模型随机误差项的序列相关结构为MA(1)、ARMA(1,1)的估计方法步骤相同，见教材。 5、例题 五、最大似然估计下的Wald、LM和LR检验 1、说明 在采用最小二乘估计的经典模型的检验中，常用的检验统计量是基于残差平方和构造的，例如F统计量、t统计量等。 在采用最大似然估计的非经典模型的检验中，常用的检验统计量是基于最大似然函数值构造的，例如Wald统计量、LR统计量、LM统计量等。 三类检验在大样本下渐进等价。 1、沃尔德检验（Wald Test） 通过研究 的无约束估计量与有约束的距离来检验，如果原假设正确，二者差值不应该很大。 2、似然比检验（WLR） 通常来说，无约束的似然函数最大值 比有约束的似然函数最大值 更大，如果原假设正确，差值不应该很大。 3、拉格朗日乘子检验（LM） 注： Wald仅利用无约束估计的信息，LM检验仅利用有约束估计的信息，而LR检验同时利用有约束与无约束信息。 这三类检验在大样本情况下是等价的，小样本下性质不同。 在正态分布与线性假设的情况下，可以证明统计量WALDLRLM。 在不对模型的具体概率分布做出假设的情况下，LR、LM检验无法进行，但是Wald检验仍可以进行。 LR、LM检验具有不变性，但是Wald则不具备，即如果对原假设进行参数变换可能得到不同的Wald。 六、对正态分布假设的检验 对非线性模型使用ML时，正态分布是推导的前提，所以检验扰动项是否服从状态分布就比较重要。 常用方法： 直方图 核密度估计法 QQ图 雅克—贝拉检验（JB检验） 非经典计量经济学模型估计方法 第一节 最大似然估计 计量模型估计方法说明 计量经济学模型(参数模型、均值回归模型、基于样本信息）的3类估计方法 LS、ML、GMM 经典模型的估计—LS 非经典模型的估计—ML、GMM 综合样本信息和先验信息的贝叶斯估计 分位数回归模型，Quantile Regression ,QREG 非参数模型的权函数估计、级数估计等 主要内容 一、最大似然原理 二、线性模型的最大似然估计 三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计 五、最大似然估计下的Wald、LM和LR检验