AI产品经理必修——揭开算法的面纱(EM算法).docxVIP

只要有一些训练数据，再定义一个最大化函数，采用 EM 算法，利用计算机经过若干次迭代，就可以得到所要的模型。这实在是太美妙了，这也许是我们的造物主刻意安排的。所以我把它称作为上帝的算法。——吴军 要立即 EM 算法，我们先来了解一个经典的原理——极大似然原理（也叫最大似然原理）。 看完这个示例，想必你对极大似然已经有了初步的认识，没错，满足某个条件，使得事件发生的可能性最大。上面这个例子，就是，满足小球从乙箱中取出，使得球是黑球的概率最大。 我们再来看一个经典的示例： 问题：假设我们需要调查我们学校的男生和女生的身高分布。 步骤 1：在校园里随便地活捉了 100 个男生和 100 个女生，共 200 人。步骤 2：你开始喊：“男的左边，女的右边，其他的站中间！”。 步骤 3：统计分别得到 100 个男生的身高和 100 个女生的身高。 求解：假设他们的身高是服从高斯分布的。但是这个分布的均值 u 和方差?2 我们不知道，这两个参数就是我们要估计的。记作 θ=[u, ?]。T 用刚才的语境来解释，就是，满足这个分部的均值 u 和方差?2，使得我们的观测数据（100 个男生身高和 100 个女生的身高）出现的可能性最大。 总结一下，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型