EM算法及其在隐变量模型中应用.pdfVIP

CS229讲义

安德鲁·吴

第九部分

EM算法

在上一讲中，我们讨论了EM算法在混合模型中的应用。在这次的讲

义中，对EM算法进行更广泛的讨论，并展示如何将其应用于具有

隐变量的一类估计问题。我们的讨论从一个非常有用的结论——不等

式开始。

1不等式

设f是一个00

定义域为实数集的函数。一下，如果f(x)≥0(对所有

x∈∈R)，则称f为凸函数。当f接受向量值输入时，这一条件被推广为

00

其海森矩阵H是半正定的（H≥0）。如果f(x)0对所有x，则我

们说f是严格凸的（在向量值情况下，相应的陈述是H必须是严格半正定

的，记作H0）。Jensen不等式可以表述如下：

T定理。设f是一个凸函数，且设X是一个随量。那么：

E[f(X)]≥f(EX).

此外，如