最大似然估计的原理及其应用.docxVIP

最大似然估计的原理及其应用 摘要:了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。 引言：似然函数 了侦q血广书。是。的函数，表示由参数°产生样本值 川色岛广顷上）的“可能性”大小。将样本观察看成“结果” ，。是产生结果的“原因” ，061，广、4）则是度量产生该结果的各种 “原因”的机会。因此，。的一个合理的 估计应使这种机会（即 川岛％S ）达到最大的那个值。 关键词：似然函数，最大似然估计，最大似然估计值。 （1）似然函数 设描述总体的随机变量x的概率密度函数为 /（泌幻，,而），其中 则约定4务底）表示概率分布 总体的未知参数（若x是离散型的， ppr■车％色,总体的样本x 1, 理解为是n维独立随机向量（X 1, X 量进行n次测量得到的n个测量值可以看成是对n维独立的随机向量进行一次测量得到的 n个测量值。由于n维随机向量的联合概率密度为 n f （Xi； 1，2， k） i 1 X2,…，X n的测量值为Xl，X2， ，xn,也可以 X n）的一个测量值。即是说，对一维随机变 显然，对于样本的一个测量值，它是 1，2， ，k的函数，记为 ￡ - ￡（工1，丐,…「X =Q f （耳;可…，也） 并称它为似然函数，简记为L。对于离散型随机变量。 应该注意，似然函数与参数 1，2， ，k有关，对于给定的样本值，它是这些参数的函 X o （2） 最大似然估计值 设总体含未知参数 1，2， ，k，对于给定的样本值 有EA如有 n n f （x; ?，7, ，2） f （x； 1，2 k） 其中1， 2， ， k为未知参数1， 2， ， k可能取的某一组值，而 1， 2 k为 1, 1, 2 k的一切其他可能取值，此时，我们可认为 2, *的估值要好些。这是因为不等式说明, 2, ，k，上匕1, 2 k作为 一 一？？ ？- , k取1, 2, , k时碍到样本 值x1,x2, ,Xn的可能性最大，这样的估计值就是 2, k的最大似然估计值。因此，可 以有定义：如果似然函数L在1，2, k分别取1，2， ，k时达到最大值，则称 1，2， ，I分别是1，2， ，k的最大似然估计值。 （3）求最大似然估计值的方法 我们认为，如果在一次测量中一个事件出现了， 那么就可以认为此事件出现的可能性最大。在这里，（x1，X2，，、）作为n维随机向量的一个测量值出现了，那么就认为只有似然 函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。 所以求似然函 数L的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。 在L关于1，2， ，k可微时，要使L取最大值， 1，2，，必须满足方程组 虹。* 鸿 —=0 I I 1 V 4 I 由此方程组解得 1，2， ，k的值，即为最大似然估计值 1，2，，十。显然，最大似然估计 ? 值与样本测量值X1，X2， ，Xn的取值有关，故可记为J（X1，X2， ，Xn），J 1，2， ，k，并称为估 值。 由于似然函数式是多个因子的乘积，利用对数 ln L进行计算比较方便，并且因为 lnX是x的单调上升函数，故L与 ln L有相同的极大点，从而 1，2， ，k的最大似然估计 值还可由下列方程组（称为似然方程组）求得 ainL . 冬 | ■ I aini n =0 J 在实际问题中，常常由于似然函数很复杂，而无法由解方程组（4 - 7）求出最大 似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解， 或者利用计 算数学中寻求函数极值点的最优化技术， 在计算机上进行优选计算， 搜索出使似然函数最大 ? ? ? 的参数值1， 2， ，k，作为参数1， 2， ， k的取大似然估计值。 （4） 最大似然估计法具有下述性质： ）k ）。因此，当已知若?，% ，7为f（X; 1，2， ） k ）。因此，当已知 I? II （ ? ? u u（ 1，2， ，k）具有单值反函数，则u u（ 1， 2， v 2有单值反函数时，则有 ? . ?2 上式即是b的最大似然估计。 （5）最大似然估计的应用 例 设有外形完全相同的两个箱子，甲箱有99个白球1个黑球，乙箱有1个白球99个黑球.今 例 设有外形完全相同的两个箱子 随机地抽取一箱，然后再从这箱中任取一球，结果发现是白球.问这个箱子是甲箱还是乙箱 随机地抽取一箱，然后再从这箱中任取一球 ，结果发现是白球.问这个箱子是甲箱还是乙箱 ？ 分析我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据 对总体的进行估计的一种推断方法。 从部分推断总体，必然伴随着一定的犯错误的概率。 因 此从逻辑上认起死理来， 统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。 但是 在实际生活中，如果