101 大数据经典算法em算法_讲解.pdf

16:54:09 EM算法——最大期望算法 —— 吴泽邦 吴林谦 万仔仁 余淼 陈志明 秦志勇 1 16:54:10 食堂的大师傅炒了一份菜，要等分成两份给两个人吃 ——显然没有必要拿来天平一点一点的精确的去称分量， 最简单的办法是先随意的把菜分到两个碗中，然后观察是 否一样多，把比较多的那一份取出一点放到另一个碗中， 这个过程一直迭代地执行下去，直到大家看不出两个碗所 容纳的菜有什么分量上的不同为止 EM 算法就是这样，假设我们估计知道A 和B 两个参数，在 开始状态下二者都是未知的，并且知道了A 的信息就可以 得到B 的信息，反过来知道了B也就得到了A 。可以考虑首 先赋予A 某种初值，以此得到B 的估计值，然后从B 的当前 值出发，重新估计A 的取值，这个过程一直持续到收敛为 止。 2 16:54:11 EM算法  最大期望算法 （Expectation-maximization algorithm ，又译期望最大化算法）在统计中被 用于寻找，依赖于不可观察的隐性变量的概率 模型中，参数的最大似然估计 。  在统计计算中，最大期望算法是在概率模型 中 寻找参数最大似然估计或者最大后验估计的算 法，其中概率模型依赖于无法观测的隐藏变量。 最大期望经常用在机器学习和计算机视觉的数 据聚类领域。 3 16:54:11 期望值（EXPECTED VALUE)  在概率和统计学中，一个随机变量的期望 值是变量的输出值乘以其机率的总和，换 句话说，期望值是该变量输出值的平均数  如果X是在概率空间（Ω, P）中的一个随机 变量，那么它的期望值E[X] 的定义是 E[X] = ∫ X dP Ω  E X = 离散： ∞  连续：E X = −∞ 4 16:54:11 最大似然估计 某位同学与一位猎人一起外出打猎，一只野兔 从前方窜过．只听一声枪响，野兔应声到下， 如果要你推测，这一发命中的子弹是谁打的？ —— 你就会想，只发一枪便打中，由于猎人命 中的概率一般大于这位同学命中的概率，看来 这一枪是猎人射中的 5 16:54:11 最大似然估计  假设我们需要调查我们学校的男生和女生的身高分布。 你在校园里随便地活捉了100个男生和100个女生。男