EM算法及其改在混合模型参数估计中的应用研究.pdfVIP

摘要 有限混合模型是分析复杂现象的一个灵活而强有力的建模工具，它提供了用 简单结构模拟复杂密度的一个有效方法，给出了模拟同质性和异质性的一个自然 框架和半参数结构。 EM算法为有限混合模型的极大似然估计提供了一个标准框架。本文简单推 导了有限混合高斯分布的EM算法，并针对其收敛速度慢的缺点设计了一种有效 选取参数初始值的方法，数值实验表明，该方法有助于EM算法以较快的速度在 参数真值附近收敛。 EM算法思想简单，易于实现。但是，EM算法往往获得的只是一个局部最 优解，这是因为它本质上是一个迭代算法，只能保证达到局部最优，而遗传算法 具有强大的全局搜索能力，因此，本文将采用遗传算法来改进EM算法，提出一 种以遗传算法为主、结合EM迭代算法的混合算法(即GAEM算法)。在前面 的研究中，我们总是提前定义一个混合模型的分支数，但在大多实际应用中，最 优分支数是未知的，所以为混合模型选择一个最优分支数是一个相当重要又困难 的问题。本文将使用GA．-EM算法来学习未知支数的多元高斯混合模型，算法中 使用MDL准则作为选择最优分支数的信息准则。采用EM算法和遗传算法混合 编程的目的是为了更好地利用两种算法各自的优点，基于随机搜索优化技术遗传 算法的种群极大地拓展了EM算法的搜索空间，有效地降低了基本EM算法对初 始值的依赖程度，改善了其收敛到局部最大值的缺陷。数值实验也表明，GAEM 算法不仅继承了EM算法的单调收敛性，对模型参数初始值也更加稳健：1)在 同样的迭代终止条件下，GAEM算法能够得到比EM算法更好的MDL值。2) GA_EM算法克服了EM算法选择最优分支数的正确率会随着分支数的增加而迅 速降低的缺陷。 关键字：混合模型，极大似然估计，EM算法，最优分支数，遗传算法。 Abstract isa for Finitemixturemodelflexibleand tool powerfIIl analyzinEcomplicated anefficientmcthodof phenomena，whichpTovide simulatingcOmpljcateddensity and a stmctureof with st九lctures naturalframeand simple present semi-parameter unobserved population andheterogeneity． modeling homogeneity for T1le isastandardfr啪e maximum expectation-maximizatjon(EM)algorithm infinite EMiterativef0册ulasfor likelIhoodestimation mixturemodels．1me derivedin we anef：fjcjent Gaussianmixturesare the presentpaperandpropose methodfortheseiterativefo册uIastoacceleratetheEM initialization algorithm’