EM算法推导与GMM的训练应用.pdf

EM 算法与GMM 2014 EM算法与 GMM insmod 2014 年 4 月 注 ：本文主要参考Andrew Ng 的 Lecture notes 8 ，并结合自己的理解和扩展完成。 GMM 简介 GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛 的应用。其典型的应用有概率密度估计、背景建模、聚类等。 图1 GMM 用于聚类 图2 GMM 用于概率密度估计 图3 GMM 用于背景建模 我们以 GMM 聚类为例子进行讨论。如图 1 所示，假设我们有 m 个点，其坐标数据为 { , … }。假设 m 个数据分别属于 k 个类别，且不知道每个点 属于哪一个类。 倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个 类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。 上式中 是当前 m 个数据出现的概率，我们要将它最大化； 是 出现的 概率； 是指第z 个类；u 和 分别指第z 个类的均值和方差； 为其他的参数。为计算方 便，对上式两边取对数，得到似然函数。 1 EM 算法与GMM 2014 上说道，GMM 的表达式为k 个高斯分布的叠加，所以有 为 类出现的先验概率。令j= ,所以此时的似然函数可以写为 上式中 x 和 z 为自变量； 为需要估计的参数。 为高斯分布，我们可 以写出解析式，但是 的形式是未知的。所以如果我们不能直接对 求偏导取极值。 考虑到z 是不能直接观测到的，我们称为隐藏变量(latent variable)。为了求解 我们引入 EM 算法(Expectation-Maximization)。我们从Jensen 不等式开始讨论EM 算 法。 Jensen 不等式 若实函数 存在二阶导 且有 ，则 为凸函数(convex function)。 的值域为 ，则对于 有以下不等式成立： 此不等式的几何解释如下 2 EM 算法与GMM 2014 需要说明的是，若 则不等式的方向取反。对上式进行推广，便可得到Jensen 不等式(Jensen’s Inequality)。倘若有 为凸函数，且 则有 此结果可由数学归纳法得到，在这里不做详细的描述。值得注意的是，如果Jensen 不等式 中的 ，而且把 看做概率密度，则有 上式成立的依据是， ， 为概率密度时，f(E(x))= 且 。 在后续的 EM 算法推导中，会连续多次应用到Jensen 不等式的性质。 EM算法 现在重新考虑之前的似然函数 直接对上式进行最大化求解会比较困难，所以我们考虑进行一定的变通。假设 是某种 概率密度函数,有 且 。现在对 的表达式进行一定得处理，先乘以一 个 再除以一个 ，有 3 EM 算法与GMM 2014 我们把 看做是 的函数; 为概率密度，则有 考虑到log 函数为凹函数，利用Jensen 不等式有 此时我们找到了 的一个下界。而且这个下界的选取随着 的不同而不同。即我们得 到了一组下界。用下图来简