混合模型lda讲述.docx

PAGE \* MERGEFORMAT20 由高斯聚类到LDA分析 高斯聚类是一种基于概率密度的模型方法，即使用概率密度函数描述数据的生成，并试图优化实际数据与模型的拟合度。高斯聚类认为每个类都可以表示为概率的参数分布形式，多个不同的类别数据就可以建模成所有类分布的混合分布。这样在观察到多个混合分布的数据后，数据的聚类问题就转化为模型参数的估计问题。 1、 GMM混合模型 设观察到的数据由K个Gaussian分布混合生成，每个类的Gaussian分布生成该类别的数据，所有类别的高斯分布线性加成在一起就组成了GMM (Gaussian Mixture Model)的概率密度函数： px=k=1Kpkpxk=k=1KπkP(x|μk,Σk) (1) 令pk=πk是每种类别的概率,且 k=1Kpk=1。pxk是满足参数为(u,Σ)第k个类的高斯分布。根据上面的式子，数据的生成过程是这样完成的：首先根据概率随机地在这 K个类之中选一个，每个类被选中的概率实际上就是它的系数πk，选择类别之后，再从这个类别分布pxμk,Σk中生成数据点，执行完整过程就生成了观察得到的数据。 1.1、极大似然估计 由数据计算相关的模型参数，最基本的方法是极大似然估计法。假定随机变量X服从某一个参数为θ的分布，概率密度为 P(x;θ)，θ∈Θ，其中θ为带估计的参数，Θ是θ的可能取值范围。设x1，x2，…，xn是来自模型的样本，则观测数据x1，x2，…，xn的相应似然函数可以表示为： Lθ=inP（xi，θ） (2) 它的值随θ取值变化而变化，最大似然估计法就是根据固定样本观察值x1，x2，…，xn，在θ可能的取值范围Θ内挑选使似然函数L(θ)达到最大的参数，作为参数θ的估计值。即： Lx1，x2，……，xn;θ=MaxLx1，x2，……，xn;θ θ∈Θ (3) 最大似然估计参数的求解一般转换为求它对数的导数极值问题。即： d(Log(L))d(θ)=0 (4) 对于高斯混合分布，要求解的参数是K个分类中的参数，主要有：(πi，μi,Σi)， i∈{1,K}。 1.2 混合高斯分布的EM计算 由GMM数据生成模型(1)描述方法，其似然函数可以表示为： Lθ=Πi=1Nk=1KπkPxiuk,Σk 取对数则可以得到：i=1Nlog?{k=1KπkP(xi|uk,Σk)} 由于在对数函数里面有加和，直接用求导解方程的办法获得显示解比较困难。为了解决这个问题，可以采用其它参数估计的办法。这里由于聚类的个数K是固定的，所以比较多的是使用EM算法估计其中的参数。 EM算法主要用于当有部分数据缺失或者无法观察到时，通过E步和M步迭代，并使算法逐渐收敛，达到稳定，从而计算出相关的参数值。每一次迭代分为两个步骤：期望（Expectation）步骤和最大化（Maximization）步骤。 根据前面高斯混合分布数据生成的假设，则观察到是不完整的数据，这主要是没有获得中间选择数据由哪个类别生成。则全部数据Z是由可观测到的样本X={x1, x2……, xn }和不可观测到的类别样本Y={y1 , y2，……, yn}组成的，其中Y表示的是选择数据产生的类别, yi∈{1,2,…k}，则完全数据Z=X∪Y。EM算法通过搜寻使全部数据的对数似然函数Log(L(Z;θ))的期望值最大来寻找参数的最优估计。算法流程描述如下： E步：假设每个类别的参数(πk,uk,Σk)已经得到，先估计数据由每个类别生成的概率，则对于每个数据来说，它由第类生成的概率为： Υi,k=πkP(xi|μk,Σk)jKπjP(xi|μj,Σj) 其中Pxiuk,Σk是后验概率。 M步：现在可以通过极大似然估计得到每个类的参数值计算方法，即求得每个类的参数：（πk,μk,Σk） μk=1Nki=1NΥ(i,k)xi Σk=1Nki=1NΥi,k(xi-uk)(xi-uk)T πk=NKN Nk=i=1NΥi,k 重复迭代前面两步，直到似然函数的值收敛为止。 2 Gibbs估计高斯混合模型参数 Gibbs采样是Markov Chain Monte Carlo(MCMC)方法应用于参数估计的一种实现。设数据由联合概率分布P(x;θ1,θ2,…θk)生成，如果能够使用现有的方法生成该联合概率的样本，则可以直接从样本中估计出所需要的参数，例如该联合概率满足高斯分布、多项式分布等情况，但是有些时候，这种直接由概率密度函数生成样本的方式却无法执行，但是联合概率密度函数所有参数的条件概率密度P(θi|x;θ1,θ2,…θi-1,θi+1,…θk)却容易获得满足条件的样本，这种情况下可以使用Gibbs采样的方式得到样本数据，而估计