最大似然估计学习总结(概率论大作业)详解.doc

最大似然估计学习总结 摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。　最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计 的系统发生树重建方法的代表。 关键词：最大似然估计；离散；连续；概率密度 最大似然估计 是一种统计方法 ，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪 爵士在1912年至1922年间开始使用的。 “似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。 最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计 的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。 最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。通俗一点讲，就是在什么情况下最有可能发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。这个答案是正确的。可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持 　　但是，我们可能不知道θ 的值，尽管我们知道这些采样数据来自于分布D 。那么我们如何才能估计出θ 呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ，然后用这些采样数据来估计θ . 　　一旦我们获得 ，我们就能从中找到一个关于θ 的估计。最大似然估计会寻找关于 θ 的最可能的值（即，在所有可能的θ 取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ 的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估 的θ 值。 　　要在数学上实现最大似然估计法 ，我们首先要定义可能性 : 　　并且在θ 的所有取值上，使这个[[函数最大化。这个使可能性最大的值即被称为θ 的最大似然估计 。 注意 这里的可能性是指不变时，关于θ 的一个函数。 最大似然估计函数不一定是惟一的，甚至不一定存在。 1. 作用 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 2. 离散型 设为离散型随机变量，为多维参数向量，如果随机变量相互独立且概率计算式为P{，则可得概率函数为P{}=，在固定时，上式表示的概率；当已知的时候，它又变成的函数，可以把它记为，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使达到最大值的那个作为真实的估计。 3. 连续型 设为连续型随机变量，其概率密度函数为，为从该总体中抽出的样本，同样的如果相互独立且同分布，于是样本的联合概率密度为。大致过程同离散型一样。 4. 关于概率密度(PDF) 我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为： = 其中y 由于y的取值范围已定，而且也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当时的y值概率情况。 图1 时概率分布图 图2 时概率分布图 那么在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。 5. 最大似然估计的求法 由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PDF（具体来说参数为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为： 该函数可以理解为，在给定了样本值的情况下，关于参数向量