（七）混合高斯模型和EM算法.pdfVIP

混合高斯模型（Mixtures of Gaussians）和EM 算法 JerryLead csxulijie@ 这篇讨论使用期望最大化算法（Expectation-Maximization ）来进行密度估计（density estimation ）。 与 k-means 一样，给定的训练样本是* (1), …, () + ，我们将隐含类别标签用z() 表示。 与 k-means 的硬指定不同，我们首先认为z() 是满足一定的概率分布的，这里我们认为满足 多项式分布，z() ~Multinomial(∅) ，其中p(z() = j) = ∅ , ∅ ≥ 0, ∑ ∅ = 1，z() 有k 个值 j j =1 j ( ) ( ) ( ) {1,…,k} 可以选取。而且我们认为在给定z() 后， 满足多值高斯分布，即( |z = ( ) ( ) ( ) ( ) ( ) j)~N( , Σ ) 。由此可以得到联合分布p( , z ) = ( | z ) (z ) 。 ( ) ( ) 整个模型简单描述为对于每个样例 ，我们先从k 个类别中按多项式分布抽取一个z ， ( ) ( ) 然后根据z 所对应的 k 个多值高斯分布中的一个生成样例 ，。整个过程称作混合高斯模 ( ) 型。注意的是这里的z 仍然是隐含随机变量。模型中还有三个变量∅，μ和Σ 。最大似然估 ( ) 计为p x, z 。对数化后如下： 这个式子的最大值是不能通过前面使用的求导数为0 的方法解决的，因为求的结果不是 ( ) close form 。但是假设我们知道了每个样例的z ，那么上式可以简化为： 这时候我们再来对∅，μ和Σ进行求导得到： ( ) ∅ 就是样本类别中z = j 的比率。μ 是类别为j 的样本特征均值，Σ 是类别为j 的 样例的特征的协方差矩阵。 ( ) 实际上，当知道z 后，最大似然估计就近似于高斯判别分析模型（Gaussian