第15章-算法.pdfVIP

龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2003 第 15 章 与数据建模有关的几个算法 1 EM算法 – 隐状态变量分布中参数的最大似然估计 1.1 EM算法的基本想法 在数据资料不全时，由已有的资料Y 估计缺失变量X ，或在观测到的资料Y 并不是状 态变量时,估计状态变量X 时（或者估计其分布密度f (J, x) 中的未知参数J ），就与古典统 计很不相同，此时需要用观测到的资料Y ，同时估计X 与未知参数J . 这样的估计将面临如下困难: 如果把在参数J 下的期望记为EJ ,那么,在估计状态 ^ 变量X 时，估值当然应该用条件期望X EJ (X | Y) (如果在Y y 及J 的条件下,X 的 ^ Bayes分布密度f (x | y ,J) 为已知,则也常用Bayes估计X xf (x | Y,J)dx ).然而这 ^ 时就需要知道参数J 的值;另一方面，为了知道J ，又必须先知道X 的估值X (作为状态 的已知样本值).这样,估计状态与估计未知参数之间是耦合的. 在统计中通常对付这类困难的解耦方法是:假定一个已知，迭代地分别交替估计它们中 的另一个,直至稳定．此类算法通称为EM算法,较为确切的表达是: (1)设置初值 J0 ； ^ (2)(E-步骤)对n 0, 令 X (n) EJ (X | Y) (或用Bayes估计 n ^ X (n) xf (x | Y ,J )dx )； n (3)（M-步骤）（修正J 的估计） 取Jn 1 使之满足： ^ ^ log f (Jn1 ,X (n) ) MaxJ log f (J,X (n) ) , 其中E-步骤为取条件期望 ( Expectation ),而M-步骤为取最大 （ Maximum）.这种交替 迭代的方法, 称为简单的EM方法. 这个算法的构思很简单,但计算量过大,且一般很难看出是否稳定.为了克服这个缺 点, Dempster, Laird和 Rubin提出了直接递推估计J 的想法(仍旧称为 EM方法),这种 经过本质改进后的方法,至少在直观上看起来有稳定趋势. 1.2 Rubin算法 假定(X , Y) 具有联合分布密度f (J, x, y ) Rubin算法的核心构思为： 直接使用状态变量Y 的分布密度g (J,y ) 代替(X , Y) 的分 419 ^ 布密度f (J, x, y ) ,来求J 关于g (J,y ) 的最大似然估计J ． 也就是求使log g (J, Y) 达到 ^ 最大的J . 由于g (J,y ) 在实际上并不好求, Dempster– Laird- Rubin利用了下述等式 f (J, x, y ) =f (J, x | y ) g (J,y ) ， 于是 log g (j , Y) log f (j ,X , Y) log f (j ,X | Y) ， ’ (15. 1) 其右方是状态变量的对数似然密度与对数条件似然密度的