原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
52nlp：理解EM算法
发表于46 天前 ? 科研 ? 暂无评论 ? 被围观 2,257 views+
声明：此文转载自“我爱自然语言处理”，请注意版权，谢谢。
EM(Expectation-Maximization)算法在机器学习和自然语言处理应用非常广泛，典型的像是聚类算法K-means和高斯混合模型以及HMM(Hidden Markov Model)。笔者觉得讲EM算法最好的就是斯坦福大学Andrew Ng机器学习课的讲课笔记和视频。本文总结性的给出普遍的EM算法的推导和证明，希望能够帮助接触过EM算法但对它不是很明白的人更好地理解这一算法。
EM算法的目标是找出有隐性变量的概率模型的最大可能性解，它分为两个过程E-step和M-step，E-step通过最初假设或上一步得出的模型参数得到后验概率，M-step重新算出模型的参数，重复这个过程直到目标函数值收敛。我们设观察到的变量所组成的向量为，所有的隐性变量所组成的向量为,模型的参数为（一个或多个参数）。在聚类的情况下，是潜在的类，而就是需要分类的数据。我们的目标就是找出模型的参数使得出现的可能性最大，也就是使下面的对数可能性最大化：
注：这里仿照Andrew Ng 的用法使用而不是，因为是模型的参数而不是随机变量。关于为什么要用EM算法而不是不直接通过得出，是因为这样可能会出现严重的overfitting (这里不详细说明，请参看Pattern Recognition and Machine Learning一书9.2.1节)。
假设是上一个概率分布，所以
最后一步是根据Jensen不等式如果是凹函数，在这个式子中就是对数函数。就是而就是。 当是严格的 凹函数的时候，中等号成立的条件是是常数，也就是说在这个特定的式子中，满足这个条件加上之前的的其实就是后验概率（参看/class/cs229/materials.html Lecture notes: The EM Algorithm）。这就是EM算法中E-step的由来。
M-step一般来说就是个就是二次规划的问题，通过得出。这里也就不再赘述。
EM算法其实就是coordinate ascent， E-step是将视为常数，选择一个概率分布使得目标函数最大化， M-step就是保持不变，选择使得目标函数最大化，因为每一步的目标函数都比前一步的值大，所以只要目标函数存在最大值，EM算法就会收敛。这个过程用图像表示就是： E-step找到跟（黑色弧线）交于的（蓝色弧线），M-step得到取最大值时的，这样下去直到收敛。（此图源于Andrew）
文档评论（0）