最大似然估计的原理.docVIP

最大似然估计的原理 给定一个概率分布D，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为fD，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n个值的采样，通过利用fD，我们就能计算出其概率： 但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D。那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n个值的采样X1,X2,...,Xn，然后用这些采样数据来估计θ. 一旦我们获得，我们就能从中找到一个关于θ的估计。最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。 要在数学上实现最大似然估计法，我们首先要定义似然函数: 并且在θ的所有取值上，使这个函数最大化。这个使可能性最大的值即被称为θ的最大似然估计。 注意 这里的似然函数是指不变时，关于θ的一个函数。 最大似然估计函数不一定是惟一的，甚至不一定存在。