EM算法及应用实例.docxVIP

学 学 院： 专 业： 任 课 老 师： 姓 名： 统计学模拟及其 R实现论文报告 论文 （设计） 题目： EM 算法及应用实例 数学与统计学院 2014 级统计学 黄恒振 钟思敏 EM 算法及应用实例 【内容摘要】 EM 算法是一种迭代算法 , 主要用来计算后验分布的众数或 极大似然估计 , 广泛地应用于缺损数据、 截尾数据、成群数据、 带有讨厌参数的 数据等所谓的不完全数据的统计推断问题。在介绍 EM 算法的基础上 , 针对 EM 算法收敛性定理 ,给出了 EM 的实值实例 , 最后给出 EM算法的医学应用。 【关键词】 Bayes；后验分布；极大似然估计；医学实例 【 Abstract 】 The EM algorithm is an iterative algorithm, is used to calculate the posterior distribution of the number or maximumli kelihood estimation, widely used in the defect data, of according to, groups of data, with hate parameters such as the so-called incomplete data statistical inference problem. Based on the introduction of the EM algorithm, in view of the EM algorithm convergence theorem, gives a real value of EM instance, the medical application of EM algorithm is given. 【 Key words 】 Bayes theorem ；Posterior distribution ； Maximuml ikelihood estimation ； Medical instance 目录 TOC \o 1-5 \h \z 【内容摘要】 2 【关键词】 2 \o Current Document 0 引言 4 \o Current Document EM 算法及其理论 4 \o Current Document EM 算法的收敛性 6 \o Current Document 2.1 EM 算法的收敛性定理 6 \o Current Document 2.2 EM 算法收敛速度的探讨 8 \o Current Document EM 算法的应用实例 9 \o Current Document 参考文献 : 11 0 引言 在统计领域里 , 统计计算技术近年来发展很快 , 它使许多统计方法 , 尤其 是 Bayes 统计得到广泛的运用。 Bayes 计算方法有很多 , 大体上可分为两大类 : 一类是直接应用于后验分布以得到后验均值或后验众数的估计 , 以及这种估计 的渐进方差或其近似 ; 另一类算法可以总称为数据添加算法 , 这是近年发展很快 而且应用很广的一种算法 , 它是在观测数据的基础上加一些 “ 潜在数据” , 从 而简化计算并完成一系列简单的极大化或模拟 , 该“ 潜在数据” 可以是“ 缺 损数据” 或未知参数。其原理可以表述如下 : 设我们能观测到的数据是 Y , θ 关于 Y 的后验分布 p( θ |Y) 很复杂, 难以直接进行各种统计计算 , 假如我们能 假定一些没有能观测到的潜在数据 Z 为已知 (譬如, Y 为某变量的截尾观测值 , 则Z 为该变量的真值 ), 则可能得到一个关于 θ的简单的添加后验分布 p(θ|Y , Z), 利用 p(θ|Y , Z) 的简单性我们可以对 Z 的假定作检查和改进 , 如此进行 , 我们就将一个复杂的极大化或抽样问题转变为一系列简单的极大化或抽样。 EM 算法就是一种常用的数据添加算法。 1 EM 算法及其理论 EM ( Expectation-Maximization )算法是一种迭代方法 , 最初由 Dempster 等于 1977 年首次提出 , 主要用来计算后验分布的众数 ( 即极大似然估计 ) 。近十 年来引起了统计学家们的极大兴趣 , 在统计领域得到广泛应用。 这种方法可以广 泛的应用于缺损数据 , 截尾数据 , 成群数据 , 带有讨厌参数的数据等所谓的不 完全数据。 它的每一次迭代有两步组成 :E 步(求期望)和 M 步(极大化) 。一般地 , 以 p( θ|Y) 表示θ的基于观测数据的后验分布密度函数 , 称为观测后验分布 , p( θ |Y,Z)