第15章-随机算法.pdf

龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2004 第 15 章 与数据建模有关的几个算法 1 EM算法 – 隐状态变量分布中参数的最大似然估计 1.1 EM算法的基本想法 在数据资料不全时，由已有的资料Y 估计缺失变量X ，或在观测到的资料Y 并不是状 态变量而欲估计状态变量X 时 （或者估计其分布密度f (J, x) 中的未知参数J ），就与古典 统计很不相同，此时需要用观测到的资料Y ，同时估计X 与未知参数J . 这样的估计将面临如下困难: 如果把在参数J 下的期望记为EJ ,那么,在估计状态 ^ 变量X 时，估值当然应该用条件期望X EJ (X | Y) (如果在Y y 及J 的条件下,X 的 ^ Bayes分布密度f (x | y ,J) 为已知,则也常用Bayes估计X xf (x | Y,J)dx )