极大似然估计和广义矩估计教材.ppt

孙瑞博 南京财经大学统计系 第四讲 极大似然估计 和广义矩估计 Maximum Likelihood estimate and Generalized Method of Moments 第一节 极大似然估计法 第二节 似然比检验、沃尔德检验 和拉格朗日乘数检验 第三节 广义矩(GMM)估计 普通最小二乘法(OLS)是计量经济学中使用频率最高的估计方法。 建模者越来越多使用广义矩估计和极大似然估计、贝叶斯估计等。 极大似然估计(MLE)和广义矩估计(GMM)已成为计量经济学中重要的估计方法，其中极大似然估计的使用频率仅次于LS。 极大似然估计法和广义矩估计法适用于大样本条件下参数的估计，在大样本条件下它们具有优良的性质。 第一节 极大似然估计法 极大似然估计(MLE)的应用虽然没有OLS广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过(对数)似然函数估计总体参数。 极大似然估计量是一致的、渐近正态的，而且在所有具有这些性质的估计量中又是有效的。其缺陷：要假设变量的分布，如正态分布。 对一些特殊类型的计量经济模型，如后面将介绍的Logit和Probit模型，OLS不再适用，常采用极大似然估计。 一、极大似然法的思路 极大似然估计的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用使得观测值(样本)最高概率的那些参数的值来估计该分布的参数，从而提供一种用于估计一个分布的参数的方法。 例4.1 设有一枚不均衡的硬币，我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次，假设得到 N1 次正面，N－ N1 次反面。由于每次抛硬币都是相互独立的，根据二项分布，得到这样一个样本的概率为： 上式可看作是未知参数p的函数，被称为似然函数。对p的极大似然估计意味着选择使似然函数达到最大的p值，从而得到p的极大似然估计量。 实际计算中，极大化似然函数的对数往往比较方便，这给出对数似然函数 上式达到极大的一阶条件是 解之得到p的极大似然估计量 二、极大似然原理 未知 观测值 随机变量Y的概率密度函数 ，随机样本 似然函数 对数似然函数 更方便、更容易 极大似然估计的思想： 的极大似然估计是使得产生样本 的最高概率的那个 值，(使得观测到该样本可能性最大的那个 )；即 的极大似然估计是使似然函数 达到最大的值。记为 总体有离散型和连续型两种，离散型总体通过分布列来构造似然函数，而连续型总体通过密度函数来构造似然函数. 似然方程 Score向量，梯度向量 离散型随机变量极大似然原理 若总体为离散型分布，分布列 样本 取到观察值 的概率，亦即事件 发生的概率为： 其中 是待估参数向量；似然函数为 这一概率随 的取值而变化，它是 的函数。 极大似然估计就是在 的可能取值范围内寻找使似然函数 达到最大的那个 作为参数 的估计值，即求 ，使得 一般通过微分的方法求得 ，即令 得到，有时也可通过迭代法来求 ，具体的计算方法根据随机变量的分布来确定。 连续型随机变量极大似然原理 若总体为连续型分布，密度函数为 ，形式已知，其中待估参数向量为 。 样本的联合概率密度为 似然函数 对数似然 极大似然估计就是使得下式成立的 具体求法：由 解出极大值点，因函数ln单增,故 常常由 求解。 对数似然函数的一阶导数向量 称为score向量或梯度向量。 似然方程 即 三、极大似然估计量的性质 极大似然估计量的优势在于其大样本性质(渐近性质)。 参数向量 的极大似然估计量 参数向量的真值 如果极大似然函数被正确设定，可以证明，在较弱的正则条件下，极大似然估计量具有以下渐近性质： (1) 一致性： 是 的一致估计量，即 (2) 渐近正态性： 即近似服从正态分布，其中V是渐近方差—协方差矩阵 (3) 渐近有效性：