最大似然估计和W、LR、LM三种检验(OVER).ppt

;极大似然估计法 我们从简单线性模型开始分析 对于每一个都是服从均值 为，方差为 的正态分布，其概率密度函数可以表示为 似然函数是密度函数在所有各观测处取值的乘积，在简单线性模型下表示为： ;;;线性模型的ML估计的一般形式;;线性模型的ML估计量的导出（向量形式）;;;最大似然估计量的性质;最大似然估计量的主要性质是大样本性或渐近性。这些性质在一般条件下都成立： 一致性（Consistency） 渐近正态性(Asymptotic normality) 渐近有效性(Asymptotic efficiency) 不变性(Invariance) 得分的均值为零，方差为;1.一致性（Consistency）; ~ N（ θ ， ） 这表明 的近似分布是正态的，其均值为θ，方差为矩阵 的逆。 是信息矩阵(information matrix)，可以用两种等价的方法来定义它 ;实践中，计算第二个表达式通常要简单得多，当θ是一个k维向量时， 表示 k个偏导数组成的列向量，即 这个得分（或斜率）向量中的每一个元素本身就是θ的函数，因此可以求它关于θ中每个元素的偏导数。 ;3.渐近有效性(Asymptotic efficiency);渐近方差（asymptotic variance）指的是有限分布的方差。因而 的渐近方差是 。不过这个术语也可用来描述未知有限样本分布的渐近近似分布的方差。因此，与此相当的表述为 渐近方差 是 /n 。当θ是一个参数向量， 是MLE时，对某一正定矩阵V,有 若 表示其它任何一致，渐近正态估计量的方差矩阵，那么 -V是一个半正定矩阵;4.不变性(Invariance);5.得分的均值为零，方差为;但是 =0 因此S的方差为 ;第三部分;问题的一般性描述;;三种检验的基本思想;;沃尔德检验（Wald Test）;因此，;;;;定理：Wald检验统计量的分布 ;似然比检验;设 是来自 的样本，记其似然函数为 ， 与 分别是 的参数空间 与 上的极大似然估计，似然函数在 与 上的极大值分别记为 与 ，即 和 ，记其比值为： （2） ;其中， 是一个统计量，由于范围越大L的最大值不会减少，故总有 ，这意味着 。由于似然函数可以看成是给定样本后， 出现可能性的一种度量。 因而，当 为真时， 应取较大的值；当 不真时， 应取值较小。故将（2）式作为检验问题（1）式的检验统计量时，拒绝域应取： 其中c应满足如下条件，使 ， 且尽可能接近 。 ;设 的密度函数为 ， 为 阶的未知参数向量 ?? ， ， 。 分为三种情形讨论 1． ， ； 2． ， ； 3． ， ； ;（1）简单假设情形：; ， 其中： 是 的向量， 与 是一一对应， 连续。 由于 为 的极大似然估计， 则： ，可得： 因此， 。 ;（3）一般情形;拉格郎日乘数检验;;若 成立，则 ；则可依据 构造检验统计量，