第九章 E算法及其推广.pdfVIP

袁春 清华大学深圳研究生院 李航 华为诺亚方舟实验室 目录 1. EM 算法的引入 2. EM 算法的收敛性 3. EM 算法在高斯混合模型学习中的应用 4. EM 算法的推广 一、EM 算法的引入 EM 算法 EM 算法的导出 EM 算法在非监督学习中的应用 三硬币模型 三硬币模型：硬币A 、B、C，正面概率π ，p ，q ， A 正面时选B，反面选C， 得到结果：1101001011 问题：只能看结果，不能看中间过程，估算π ，p ，q ， 解：模型 随机变量Y是观测变量，表示一次试验观测的结果是1或 0 ，随机变量z是隐变量，表示未观测到的掷硬币A 的结 果，这一模型是以上数据的生成模型。 三硬币模型 观测数据： 未观测数据： 似然函数： 即： 极大似然估计： 该问题没有解析解，EM迭代法： EM算法 选取初值： 第i步的估计值： EM算法第i+1次迭代： E步：计算在模型参数 下观测数据yi来自掷 硬币B的概率： M步: 计算模型参数的新估计值 EM算法 初值： 利用迭代公式，得： 继续迭代，得： 得到模型参数的极大似然估计： EM算法 如果取初值： 完全数