EM算法_online.pdfVIP

1 期望最大化算法期望最大化算法 （（EExpectationxpectation MMaximizationaximization AlgorithmAlgorithm ） – 年 ，DempsterDempster等人总结提出等人总结提出 – 应用于：（ 1 ）在数据不完整或有缺失值的情况下学习；（2 ）当似然方程难以直接求解时，初始化某些未知参数使问题 简化 – 迭代算法，每次迭代由两步组成：E步，求期望（Expectation ）；）；MM步步 ，求极大求极大 （（MaximizationMaximization ）） A. P. Dempster, N. M. Laird, and D. B. Rubin. Maximum likelihood from incomplete data via the em algorithm. Journal of the Royal Statistical SSociietty: SSeriies BB, 39(1)39(1): 11–3838, NNovembber 2 一个例子个例子 考虑一个投掷硬币的实验：现在我们有两枚硬币A 和B ，这两枚硬币和普通的硬 币不币不一样样，，他们投掷出正面的概率和投掷出反面的概率不他们投掷出正面的概率和投掷出反面的概率不一定相同定相同。。我们将我们将AA 和和 B 投掷出正面的概率分别记为θ 和θ 。我们现在独立地做5 次试验：随机的从这 A B 两枚硬币中抽取1 枚，投掷10 次，统计出现正面的次数。那么我们就得到了如下 的实验结果的实验结果。 试验代号 投掷的硬币 出现正面的次数 1 B 5 两组随机变量两组随机变量 ：：XX == (X(X ;; XX ;; XX ;; 11 22 33 2 A 9 X ; X )；Z = (Z ; Z ; Z ; Z ; Z )。 4 5 1 2 3 4 5 3 A 8 其中，Xi = {1; 2; 3; 4; 5; 6; 7; 8; 9; 10} ，代表试验i中出现正面 8; 9; 10} ，代表试验i中出现正面 44 BB 44 的次数；Zi = {A; B} 代表这次试 5 A 7 验投掷的是硬币A 还是硬币B。 目标目标 ：：估计估计θθ = ((θθ ;; θθ )) 的数值的数值