基于EM算法的混合模型参数估计.docVIP

基于EM算法的混合模型参数估计 　　摘 要 有限混合模型是用于分析复杂问题的一个有效的建模工具。在诸多的混合模型中，混合高斯模型的应用更为广泛，尤其是在图像处理、人脸识别、通信和信号处理等。理论及数值试验充分证明：混合高斯分布模型能够逼近任何一个光滑分布，而对该模型参数的有效估计是准确分析、模拟复杂问题的必要前提。EM算法自从提出，就已成为一种非常流行地处理不完全数据的极大似然估计的方法。恰好我们经常处理的样本数据集通常可看作是不完全数据，进而EM算法就为混合高斯模型的参数估计提供了一种标准框架。 　　关键词 EM算法 R软件 混合模型 高斯混合 参数估计 　　中图分类号：O212 文献标识码：A 　　0引言 　　EM 算法就是一种一般的从“不完全数据”中求解模型参数的极大似然估计的方法，它是在观察数据的基础上添加一些“潜在数据”，从而简化计算并完成一系列简单的极大化或模拟。EM 算法的每一步迭代中包括一个 E 步?D?D期望步（Expectation Step）和一个M 步――极大似然步（Maximum Likelihood Step）。算法的优势在于它在一定意义下可靠地收敛到局部极大，也就是说在一般条件下每次迭代都增加似然函数值，当似然函数值是有界的时候，迭代序列收敛到一个稳定值的上确界。缺点是当缺失数据比例较大时候，它的收敛比率比较缓慢。混合分布是有限个分布的组合，它综合了各个分支的性质和特点，它具有许多优势： 　　（1）可以用来模拟复杂的数据或问题。由于混合模型拥有许多不同类型的混合形式，有相同总体的混合，也有各种不同总体的混合。因此，可以根据数据的不同情况，来选择与之相符的混合模型来进行模拟。 　　（2）为同性质和异性质的模拟提供了一个方法。当m= l时，该模型就是一个单一分布。当m〉l时，它就是分布的线性组合。在现实生活中，许多现象都非常复杂，不同元素往往具有各不相同的性质，这时，混合模型是一个最合适的工具，因为它可以把元素所满足的分布都综合起来，组合成一个新的分布，在这个新的混合分布的基础上，再进行下一步的分析。它具比单一分布有更多的益处。 　　综上所述，混合分布可以对大量的数据进行有效的模拟，尤其是在对数据先验知识了解较少的情况下，混合分布是一个很好的选择，它更加灵活、有效。 　　1同分布同类型的混合分布 　　一种类型的混合分布有：二项分布，指数分布，泊松分布，正态分布等等。下面我们以二项分布和正态分布为例研究混合分布的EM算法的过程。 　　1.1 L阶混合二项分布参数估计的EM算法 　　L阶混合二项分布的概率密度函数为 　　其中，且为未知参数。 　　现在设是来自于混合二项分布的样本。我们的目的是求未知参数的极大似然估计。为此先考?似涠允?似然函数 　　不难看化直接求它的最大值点很难，我们下面将推导该问题的EM算法： 　　引入潜在变量，其中，且相互独立，是取值为0或1的指示变量，表示来自于第j个分支密度，且 　　1.2 M阶混合正态分布（高斯分布）的EM算法估计 　　随着社会、科学的不断发展，混合模型已经越来越被大家熟悉和认识。有限混合高斯分布的以其独有的特性更是被大家熟知，并被用于实际生活中的各个领域。根据混合模型的介绍我们可以知道，有限混合正态分布就是有限个（2个或2个以上）正态分布的加权组合。它们的组合具有比单一高斯分布更丰富的性质和特点，并且当混合正态分布的阶数不断增加时，它可以逼近任何连续的概率分布。正因为如此，它的应用非常广泛，如在股票、金融、证券、医药、农业等领域都可以用到它。如今，利用它对数据进行拟合，即对其参数的估计已经成为人们非常关心的问题。每个分支都有两个参数需要估计，并且待估计参数的先验分布也比较复杂。 　　1.2.1当M己知时，用EM算法估计参数 　　1.2.2当M未知时，基于聚类的EM算法 　　以上的EM算法是设定混合元个数在计算过程中是不变的，而在实际应用中，混合高斯模型中的混合元个数M一般未知。下面就M未知时给出一种参数估计方法，该方法是建立在聚类算法和EM算法基础上的一种方法，即初始状态的混合元数比最终得到的混合元数要大（通常情况下将初始混合数设定为最终混合数的两倍以上能得到比较好的结果）。这样，在建模过程中可以将相近的两个高斯分量并为一个聚类，然后在重新有EM算法进行建模，以此往复，最终得到想要的混合数，具体步骤如下 　　（1）设置初始混合数（一般将初始混合数设置为目标混合数的两倍以上）。 　　（2）用以上方法算得到元混合高斯分布参数估计为。 　　（3）寻找相近（指均值和方差接近）的两个高斯分量，将它们合并成一个新的高斯分量，并且将混合数减1。合并规则如下：设两个相近高斯分量的参数分别为和，合并后新的高斯分量的参数为，则