EM算法的问题和出路1引言.PDF

EM 算法的问题和出路 鲁晨光 摘要: 求解混合模型需要最大化预测的分布和样本分布之间的似然度或最小 化相对熵。流行的 EM 算法收敛证明中有两个结论：1)只增不减 Q (负的联 合交叉熵)可以最大化似然度；2)每个 E-step 不会减少 Q. 然而，有反例证 明上面两个结论都错了，并且第二个错误掩盖了第一个错误。EM 算法经 常导致收敛困难, 原因是模型混合比例没有匹配样本分布. 一个改进的算法 ——信道匹配算法即 CM 算法——可以提高混合模型迭代收敛的正确性. 文 中得到一个重要公式：相对熵的极小值等于 Shannon 互信息 R 减去语义互 信息 G(即平均 log(normalized likelihood))的极小值. 重复增大 G(而不是 Q)和 减小 R 就可以最小化相对熵。新算法的收敛可以得到严格证明——通过 Shannon 等人分析信息率失真函数用到的变分方法和迭代方法. 使用交叉熵 方法和语义信息方法分析 CM 算法和 EM 算法及 MM 算法（Neal 和 Hinton 提出）的区别和联系, 可以加深我们对几种算法的理解. CM 算法不仅可用 于混合模型， 也可以用于半监督学习和多标签学习。 关键词：EM 算法; CM 算法；混合模型; Shannon 信道; 语义信道; 信息论失 真函数; Shannon 互信息；预测互信息 1 引言 EM 算法就是 Expectation-Maximization 算法. 其最典型的应用是求解混 合模型(一种聚类方法), 而混合模型是无监督学习的典型. EM 算法最早由 Dempster 等人于 1977 年明确提出[1], 后来有很多改进的 EM 算法和改进的 收敛证明[2]. 比较著名的收敛证明是Wu 的证明[3]. 其中比较著名的改进版 本是 Neal 和 Hinton 于 1999 年提出的 Maximization-Maximization( 即 MM)算 法[4]. 虽然 EM 算法及改进的 EM 算法有不少成功的例子, 但是也有很多人 抱怨, EM 算法经常会局部收敛或收敛不对. 笔者研究发现, 流行的 EM 算法 收敛证明存在两个严重问题：1) 通过 Q 函数( 即后面的负的联合交叉熵 H’(X,Y| θ) )只增不减证明混合模型收敛(即预测的分布和样本分布一致) 是不 对的, 因为存在反例； 2) 认为 E-step 不会减小 Q 也是不对的；3)第二个错 误掩盖了第一个错误. 笔者还发现：1) EM 算法在很多情况下收敛, 不是因为 E-step 也增大 Q, 而是因为 E-step 在所有情况下减小预测分布和样本分布之间的相对熵(或 Kullback-Leibler 离散度) [5] ； 2) 存在一种改进的算法——信道匹配算法 (CM 算法) ——求解混合模型更可靠. 3) EM 算法缺少优化模型比例步骤, 1 所以收敛很慢, 甚至失败. 如果在 M-step 之前优化模型比例, EM 算法和 CM 算法就等价. CM 算法可以说是改进的 MM 算法, 但是其基本思想是不同的. CM 算 法通过语义信道和 Shannon 信道相互匹配实现混合模型收敛, 也没有用到 Jensen 不等式. 最近 20 年, 交叉熵方法在机器学习领域取得显著成功[6,7]. 作者早在 1991 年就推广 Shannon 互信息公式[8]提出交互交叉熵[9], 随后提出一个语 义信息理论[10-12]. 根据这个理论, 一组真值函数构成一个语义信道, 真值函 数和似然函数可以相互转换. 信道匹配就是语义信道和 Shannon 信道相互 匹配. 笔者用平均对数标准似然度即 log(normalized likelihood)定义语义互信 息, 所以语义互信息也就是交互交叉熵. 作者先前的两篇英文文章介绍了 CM 算法在最