EM算法newPPT课件.pptVIP

一 EM算法的介绍 EM英文叫expectation-maximization，是一种聚类算法。（即根据给定观察数据自动对数据进行分类） EM算法是Dempster,Laird和Rubin(DLR)三个人在1977年正式提出的，主要是用于在不完全数据的情况下计算最大似然估计。 在EM算法正式提出以来，人们对EM算法的性质有更加深入的研究，并且在此基础上，提出了很多改进的算法。 EM算法在数理统计，数据挖掘，机器学习以及模式识别等领域有广泛的应用。 二 EM算法的理论依据 极大拟然估计法 引例:某位同学与一位猎人外出打猎，一只野兔从前方窜过，只听一声枪响，野兔应声倒下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人命中的。 这个例子所作的推断就体现了极大拟然法的基本思想。 极大拟然法的定义 观测变量X，针对X所获得的n个观测样本为( ) 它们之间满足独立同分布 ，参数变量为模型的一系列参数 EM因什么而存在？ 定义：观测变量X，针对X所获得的n个观测样本为( ), 随机变量Z，是与观测变量对应的隐含变量，在所取n个样本中对应的取值为(