极大似然估计与据估计ppt学习指导书.pptVIP

* * 矩估计与极大似然估计 1、概论： 统计推断:从观测数据推断未知变量或未知模型的有关信息的过程. （1）统计学中两种重要方法：贝叶斯统计推断和经典统计推断 （2）统计推断的主要内容：参数估计，假设检验和显著性检验 （3）统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验，等等 2、点估计 设总体X的分布函数 中的参数 未知， 是来自总体的样本。我们用一个统计量 的取值 作为θ的估计值，统计量 称为θ的点估计（量），简称估计。 如何构造统计量没有明确的规定，只要满足一定的合理性即可。 问题一：如何给出估计，即估计方法问题。 问题二：对不同的估计进行评价，即估计好坏的判断标准 极大似然估计 例：设有外形完全相同的两个箱子，甲箱中有3个白球，1个黑球，乙箱中有3个黑球1个白球。现随机的抽取一箱，并从中取出一球，结果取得白球。问这球是从那一箱子中取出的？ 解： 设A表示“取出白球”，则： 即：如果取出的是甲箱，A发生的概率为0.75 即：如果取出的是乙箱，A发生的概率为0.25 于是我们判断：此球最像是从甲箱中取出的。 这里“最像”就是“极大似然”的意思。 若抽取次数增加为3次(有放回),白球和黑球的比例未知的情况（下例）： p 0 1/4 2/4 3/4 1 p(X=2) 0 9/64 12/64 27/64 0 于是判断：p=3/4 例：设一个箱子中装有白球和黑球，共4个，但不知道白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比例是多少。 解：设白球所占的比例为p，则p的取值为:0，1/4，2/4，3/4，1 根据二项分布， 得： 如果箱子中的球的个数未知，且比较大，则p的范围： 此时我们应该选择p，使得 尽可能大 令 当p=2/3时，L(p)取最大值， 于是估计p=2/3 更一般的情况：有放回的n次取球： 如果箱子中的白球的比例为p，有放回的n次取球，结果为： 其中 于是： 令 根据极大似然原理，应选择p，使L(p)尽可能大。 由于： 求导得方程： 解得： 定义：设总体的概率函数为 其中θ是未知参数， 是参数θ的可能取值空间， 是来自该总体的样本， 其联合概率函数看作是关于θ的函数： 称为样本的似然函数。 如果统计量满足： 则称 是θ的极大似然估计量。 由于lnx单调上升，故 与 有相同的极大值点。于是 是θ的极大似然估计量的必要条件是： 此方程称为似然方程，它的解 为极大似然估计量 例2：已知总体X服从参数为λ的泊松分布，概率函数为 求参数λ的极大似然估计量。 解：参数λ的似然函数为： 取对数： 似然方程： 解得： 连续型随机变量的极大似然估计 若总体X是连续型随机变量，密度函数为 θ为未知参数 又设 为样本 的一个观测值， 那么样本 落在点 的邻域里的 概率为 极大似然原理就是选取使 达到最大的数值 作为参数θ的估计值。 此时，似然函数为： 对数似然方程仍为： 例 设总体X服从参数为λ的指数分布，密度函数为 λ0,x0,试求参数 λ 的极大似然估计量。 解：似然函数为 取对数： 似然方程为： 解得： 多参数情形： 例:设总体X服从正态分布： 试求μ及σ 的极大似然估计 解： 似然函数为 似然方程： 解得 取对数： 均匀分布 求θ的极大似然估计量 例 设X~U[0,q]，密度函数为 解 似然函数为 由 似然方程： 无解 由于 故 因而 是θ的极大似然估计量 例 设总体X~U[a,b]，密度函数为 求a,b的最大似然估计量。 解 似然函数为 由于 故 于是a，b的极大似然估计量分别是： *