《em算法及其改进》PPT课件.pptVIP

EM算法及其改进 E步： 对 或 求条件期望，从而把Z去掉，即 M步： 将 极大化，找到一个点 ，使 即 反复迭代，直到 或 充分小时停止迭代。 优点：其一,M步仅涉及完全数据极大似然,通常计算比较简单;其二,它的收敛是稳定的,因为每次迭代似然函数是不断增加的. 缺点：当缺失的信息量很大或完全数据对数似然的估计本身比较复杂时,EM算法的收敛速度将很缓慢。 基于EM算法的缺点产生了各种改进的算法，这些改进的算法都着眼于改善收敛速度和保证收敛性质。 在很多问题中，若对参数施加一定的函数约束，可以使完全数据极大似然估计变得相对简单。ECM算法中E步采用和EM算法相同的计算过程，用几个简单的CM步来代替EM算法的M步，CM步中每步都是在对应参数约束下，使得EM算法定义的Q函数达到最大。 其中的CM步定义如下：把参数 划分为 ， 是关于 的函数，当第t+1次迭代时，分别在 的约束下找到 ，使之在