统计机器学习_EM算法统计机器学习_EM算法.pdfVIP

EM算法及其推广 outline • EM算法的引入 • EM算法的收敛性 • EM算法在高斯混合模型学习中的应用 • EM算法的推广 • EM是一种迭代算法，用于含有隐变量的概 率模型参数的极大似然估计，或极大后验 概率估计。 • EM每次迭代分为两步： – E步：求期望 – M步：求极大化 EM算法的引入 • 假如只有 1元的硬币，并且有一个观测序列，可以用最大似 然估计来估计π • 当含有隐藏变量时，不能简单的采用最大似然估计。 A B π p q • 比如:根据1元的投掷的结果来决定投掷哪个5角硬币 假如得到5角硬币的观测序列：1,1,0,1,0,0,1,0,1,1 对于一个观测值  (,pq, ) π • 将观测数据表示为