为θ的似然函数.pptVIP

将上式简记为 L(θ )，即 称 L(θ )为θ 的似然函数。 视为变量 视为固定值 假定现在我们观测到一组样本 X1, X2, …, Xn，要去估计未知参数θ 。 称 为θ 的极大似然估计 (MLE)。 一种直观的想法是：哪个参数(多个参数时是哪组参数) 使得现在的出现的可能性 (概率) 最大，哪个参数(或哪组参数)就作为参数的估计。 这就是 极大似然估计原理。 如果 θ 可能变化空间, 称为参数空间。 3. 最大似然估计（MLE）一般步骤： (2). 构造似然函数 (1). 导出样本的联合密度(连续型）或联合概率函数(离散型) 为 f (X1,X2,…Xn; ? ) . L(? ) = f (X1,X2,…Xn; ? ) (3). 求似然函数的最大值 利用y=lnx的单调性， L(? ) 与 ln L(? ) 同时达到最大，问题常常转化为求ln L(? ) 的最值. 设X1,X2,…Xn是取自总体X的一个样本， 建立并解似然方程组： 得到 注意： 用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则来求 . (4). 在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值 . lnL(? ) = lnf (X1,X2,…Xn; ? ) 下面举例说明如何求最大似然估计（ MLE ） 例 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个样本，求参数p的MLE. 解： L(p)= f (X1,X2,…Xn; p ) 似然函数为: 解似然方程 即为 p 的MLE为 设X1,X2,…Xn是取自总体X的一个样本，若 其中 0,求 的MLE. 例 解 L(p)= f (X1,X2,…Xn; p ) 似然函数为: 解似然方程 令 得 即 的MLE 设X1,X2,…Xn是取自正态总体X的一个样本， 例 解：似然函数为 解似然方程 得 是L(?,?2)的最大值点，即 ? 和 ?2 的极大似然估计。 下面验证：似然方程组的唯一解是似然函数的最大值点。 设X1,X2,…Xn是取自总体X的一个样本， 例 其中 0,求 的MLE. 解：似然函数为 i=1,2,…,n 似然函数求对数建立似然方程组 只能解得 用求导方法无法最终确定 的MLE，用最大似然原则来求 . 于是 由于 故使 L 达到最大的 , 即 的MLE是 设总体X～U[a，b]，求a，b的MLE。 例 解 X的概率密度为 似然函数为 若 用求导方法无法最终确定a，b的MLE. 为使 L(a, b) 达到最大，b-a 应该尽量地小。 但 b不能小于 max{x1,x2,…,xn}。否则，L(a,b) = 0。类似地，a 不能大于min{x1,x2,…,xn}。 因此，a 和 b 的极大似然估计为 4. 未知参数的函数的MLE. 定理 极大似然估计的一个性质 可证明极大似然估计具有下述性质： 例 设X1,X2,…Xn是取自正态总体X的一个样本， 解 由于 故 例 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的MLE. 解: 设X1,X2,…,Xn为所取样本， 则X1,X2,…,Xn是取自B(1,p)的样本，p是每次抽取时取到白球的概率，p未知 . 在前面例中,我们已求得先求p的MLE: 由前述定理不难求得 的MLE： 我们用最大似然法估计湖中的鱼数 例 为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回. 隔一段时间后, 再捕出S条鱼, 结果发现这S条鱼中有k条标有记号. 根据这个信息，如何估计湖中的鱼数呢？ 根据概率论的知识有，第二次捕出的有记号的鱼数X是r.v, 而且X具有超几何分布： 把上式右端看作N的函数，记作L(N;k) . 应取使L(N;k)达到最大的N，作为N的MLE. 但用对N求导的方法相当困难, 我们考虑比值： 经过简单的计算知，这个比值大于或小于1，是 这就是说，当N增大时，序列P(X=k;N)先是上升而后下降; 当 时, 达到最大值 . 故N的MLE为： 定理 设T=T(Xl，X2，…，Xn)为θ 的任一充分统计量，则θ 的最大似然估计 一定可以表成T的函数． 证明 因式分解定理 该定理表明，最大似然估计充分利用了样本中所包含的θ 的信息，从而充分地利用了总体分布的表达式所提供的关于θ 的信息，因而最大似然估计有许多优良的性质．例如，