EM算法原理及其应用.PDF

EM算法原理及其应用 罗维 大纲  基础知识  EM算法应用举例  EM算法及其证明  EM算法的变种 2 EM算法的名字由来 E 步 M 步 Expectation Maximization 期望 最大化 EM （Expectation Maximization, 期望最大化）算法 3 笼统的EM算法描述 Loop { E步: 求期望（expectation）  什么函数关于什么分布的期望？ M步: 求极大（maximization）  关于什么函数的最大化？ }  “鸡生蛋，蛋生鸡” 4 When What  1977年由Dempster等人 总结提出  一种优化算法框架，用于含有 隐变量（hidden variable）的概率模型参数 的极大似然估计（Maximum Likelihood Estimation, MLE），或极大后验概 率估计（Maximum A Posterior estimation, MAP） 5 [1] 机器学习十大算法(ICDM2006) （英文） 0//~icdm/algorithms/ICDM06-Panel.pdf [2] 机器学习十大算法(ICDM2006) （中文翻译） /attachment.aspx?attachmentid=1565 6 涉及到的基本概念  无监督学习  生成式模型  隐变量  先验概率、后验概率、似然概率 7 无监督学习  无监督学习：样本没有标注  聚类  概率密度估计  变量说明：X 表示样本（标量or 向量），y 表示标注（标量） 方法 处理怎样的数据 模型举例 无监督学习 (X) k-Means, HMM, GMM, pLSA, LDA… 有监督学习 (X, y) Naïve Bayes, NN, LR, ME, SVM, GBDT… 半监督学习 (X) + (X, y) self-training, co-training, S3VM… 强化学习 (action, state, award) Markov Decision Process （MDP） 8 生成式模型  生成式模型  带有一个故事（称呼为生成故事）  方法 对什么建模 模型举例 生成式模型 P(X, y ) Naïve Bayes, HMM, GMM, pLSA, LDA … i 判别式模型 P(y | X) NN, LR, ME, SVM, GBDT … i 参考文献：/blog/static/31031204201022824726471/ 9 隐变量  隐变量（latent variable）  可能是建模时就带有隐变量，也可能是为了求解方便而引入  含有隐变量，通常的MLE估计、MAP估计没法实施 模型