基于不完全数据的最大似然估计方法——EM算法.pdfVIP

第31卷第5期 重庆工商大学学报(自然科学版) 2014年5月 Vo1．31 NO．5 JChongqingTechnolBusinessUniv．(NatSciEd) Mav2014 文章编号：1672—058X(2014)05—0029-05 基于不完全数据的最大似然估计方法——EM算法 李 顺 静 (重庆工商大学 数学与统计学院，重庆 400067) 摘 要：由于最大似然估计的理论基础比较简单，所以在实际应用中较为广泛。但随着应用领域的范 围不断扩大，其面临的问题也逐渐增多，当模型中存在隐含的未观测变量或者是观测的数据不完整时，用最 大似然估计来处理相反会使问题变得更为复杂。这时最大似然估计在计算方面就产生了一种新的有效的 迭代方法即EM算法。详细分析了最大似然估计及EM算法的相关理论及应用，主要的特点是在分析 EM 算法前提下给出了缺失数据机制这一概念 ，为EM算法的引入做 了很好的铺垫。 关键词：最大似然估计；EM算法；缺失数据机制 中图分类号：O193 文献标志码 ：A 数理统计的研究总是着眼于总体，着手于样本。当已知总体分布函数的形式，但其中有一个或多个参 数未知时，可以根据样本来推断这个或这些未知参数，这就是参数估计。总体参数估计法的3个常见方法有 顺序统计量法、数字特征法和最大似然法_lJ。最大似然估计 (MLE)最早是由德国数学家C．F．Gauss在 1821 年针对正态分布所提出来的，但 由于R．A．Fisher在 1922年再次提出了这一想法并证明了其一些性质，从而 使得最大似然估计得到了广泛的运用 ，所以一般人们将功劳归于Fisher。最大似然估计是一种重要的、经典 的参数估计方法，人们对其研究一直方兴未艾。 EM算法 (expectationmaximization)，即期望最大化算法。是 1977年 由Dempster、Laird和 Rudin所提出 的用于极大似然估计的迭代算法，同时为缺失数据的情况下迭代求似然函数极值提供了统一的框架。由于 EM算法具有很多优良的性质，例如似然函数值是单调增加的和对于任意给定的初始条件都稳定收敛等，算 法很快引来了广大学者的关注和研究。 1 最大似然估计相关理论 1．1 最大似然估计的基本概念 设总体的概率函数为P(；0)(当总体是离散型随机变量时，概率函数就为分布律；当总体是连续型随机 变量时，概率函数就为密度函数)，0∈0，其中0是一个未知参数或几个未知参数所组成的参数向量， 是参 数空间， 一， 是来 自总体的样本，将样本的联合概率看成0的函数，用L(O；xl-． )表示，简记为L(0) L(0)=L(O；x。．… )=P(。；O)p(2；)…P( ；) (1) L(0)称为样本的似然函数。 收稿 日期：2013—11—20；修回日期：2013—12-23． 作者简介：李顺静(1989一)，女，贵州兴义人 ，硕士研究生，从事统计学统计理论与方法研究 30 重庆工商大学学报(自然科学版) 第31卷 如果存在某统计量0=0( ．… )满足 (0)=maxL(0) 则称 0是0最大似然估计，简记为MLE(Maximumlikelihoodestimate)。最大似然估计有两重性质，一是 随机变量的性质，另一个是数的特性 。 由于L(l-_ ；)是连乘式，常考虑将似然函数两边取对数，从而将乘法转化为加法，这样会大大简化 计算量。且对数似然函数 InL(x)是 的单调增函数，lnL()与L()在同一点达到最大值，所以通常将求似 然函数的极大值问题转化为求对数似然函数的极大值。 1．2 最大似然估计失效的情形 例 1 设总体分布有密度函数 x,O ，一co ～ (2) 解 分布包含一个参数0，可以取任何实数值。通常