最大似然估计法.docx

最大似然估计法的基本思想　　最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现 的可能性最大的那个??作为真??的估计。　　我们分两种情进行分析：　　1．离散型总体　　　设??为离散型随机变量，其概率分布的形式为??，则样本??的概率分布为??，在??固定时，上式表示??取值??的概率；当??固定时，它是??的函数，我们把它记为??并称为似然函数。似然函数??的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值??，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使??达到最大值的那个??作为真??的估计。　　2．连续型总体?　　设??为连续型随机变量，其概率密度函数为??则??为从该总体抽出的样本。因为??相互独立且同分布，于是，样本的联合概率密度函数为　　?，在??是固定时，它是??在??处的 密度，它的大小与??落在??附近的概率的大小成正比，而当样本值??固定时，它是?的函数。我们仍把它记为??并称为似然函数。类似于刚才的讨论，我们选择使??最大的那个??作为真??的估计。?　　　　　　　　　　　　　　　总之，在有了试验结果即样本值??时，似然函数??反映了??的各个不同值导出这个结果的可能性的大小。 我们选择使??达到最大值的那个??作为真??的估计。这种求点估计的方法就叫作最大似然法。 ??　?7.2.2　最大似然估计的求法　　假定现在我们已经观测到一组样本??要去估计未知参数??。一种直观的想法是，哪一组能数值使现在的样本??出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这 里，假定我们有一组样本??.如果对参数的两组不同的值??和?，似然函数有如下关系　　??,　　那么，从??又是概率密度函数的角度来看，上式的意义就是参数??使?出现的可能性比参数??使??出现的可能性大，当然参数??比?更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数 达到最大值的点?,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记??,求θ的极大似然估计就归结为求??的最大值点.由于对数函数是单调增函数，所以　　　　　　　　　　???? 　　　　　(7.2.1)　与??有相同的最大值点。而在许多情况下，求??的最大值点比较简单，于是，我们就将求??的最大值点改为求??的最大值点.对??关于??求导数，并命其等于零，得到方程组?　　　　　　?,??????????????????????????? (7.2.2)　　称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是??，也就是??的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情 况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。　　还需要指出，若函数??关于??的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去??的最大值点。　　在一些情况下，我们需要估计??。如果??分别是??的最大似然估计，则称??为??的最大似然估计。?　　下面我们举一些例子来说明求最大似然估计的方法。　　?例?7.2.1?设 从正态总体??抽出样本??，这里未知参数为mm??和??（注意我们把??看作一个参数）。似然函数为　　　　　　　　??????????????????????????　　　　　 =?　　它的对数为　　?，　　似然方程组为?　　　　　　　　　　　?　　由第一式解得　　　　　　　　　　　?，???????????????(7.2.3)??? 代入第二式得　　　　　　　　　　　?.???????????? (7.2.4)?　　似然方程组有唯一解(??，??)，而且它一定是最大值点，这是因为当??或??或∞时，非负函数??。于是??和??的最大似然估计为　　　　　　　　??，??.???????? (7.2.5)?　　这里，我们用大写字母表示所有涉及的样本，因为最大似然估计??和??都是统计量，离开了具体的一次试验或观测，它们都是随机的。　　例7.2.2　设总体??服从参数为的泊松分布，它的分布律为　　　　　　　　??，?　　有了样本??之后，参数λ的似然函数为?　　　　　　　　　　　?，　　似然方程为?　　　　　　　　　　　?，　　解得　　　　　　　　　　　　??.?　　因为??的二阶导数总是负值，可见，似然函数在??处达到最大值。所以，??是λ的最大似然估计。　　例7.2.3?设总体??为??上的均匀分布，求??的最大似然估计。　　?的概率密度函数为　　　　　　　　　?　　对样本??，