EM算法的拟Newton加速方法α-系统工程理论与实践.PDF

　1998 年 10 月 系统工程理论与实践 第 10 期　 EM 算法的拟N ew ton 加速方法 高旅端　陈　志 (北京工业大学应用数学系, 北京 100022) 摘要　 算法是从不完全数据求参数极大似然估计的一种迭代方法。 算法简单, 但收敛慢。本 EM EM 文讨论了一个加速收敛的算法。 关键词　EM 算法　加速 A Q u a si N ew ton A cce lera t ion M etho d o f th e EM A lgo r ithm Gao L u du an　Ch en Zh i ( , 100022) B eij ing Po ly techn ic U n iver sity B eij ing Abstract　 In th is p ap er a n ew m ethod fo r acce lerat ing th e EM a lgo r ithm is p ropo sed. T h is m ethod is sim p le an d stab le to im p lem en t. N um er ica l re su lt s show th e n ew m ethod h a s m u ch fa ster convergen ce th an th e EM a lgo r ithm. Keywords　EM a lgo r ithm , acce lerat ion 1　引言 [ 1] EM 算法是D em p ster 等提出的求参数极大似然估计的一种迭代算法 , 在不完全数据处理和潜在结 [2 ] ( ) 构分析中有着广泛的应用 。设X 和 Y 是两个样本空间, 并且从X 到 Y 存在一个多对一的映射x →y x , ( ) ( ) 这里称 x 为完全数据, y 为不完全数据。分别记y 和x 的密度函数为f 1 y ; 和f 2 x ; , 其中参数 ∈ 是 p 维向量。在许多统计问题中极大化不完全数据的密度函数比极大化完全数据的密度函数复杂得多, EM 算法正是适应这种情况。EM 算法是迭代算法, 在给定 的初始值 后, 对 k =