第4章 EM化方法.pptVIP

例2 （Censored exponential data）假设在模型Y1,…,Yn ~ i.i.d. Exp(?)下，观测完全数据，但是遇到右删失。观测数据为x=(x1,…,xn)，xi=(min(yi, ci), ?i)，ci是删失水平，如果yi? ci，?i=1；否则?i=0。 解法1：完全数据对数似然为 在M步中， 解法2： 完全数据的分布是指数族中的一个分布 λ(t+1)是E{s(Y) | λ}= s(t)的解 4.2.3　方差估计 EM算法没有自动产生MLE的协方差阵的估计。 典型地，MLE的渐近正态性 计算观测信息 估计Fisher信息阵 在推导或编码Hessian是很困难情形下： SEM算法容易实现，提供较快的、较可靠的结果。 更容易的是bootstrapping方法，尽管对很复杂的问题，嵌套循环的计算负担会非常的高。 Louis’s method log fX(x|? )= Q(? |? (t)) ? H(? |? (t)) 取二阶偏导数 得 （4.29） 方程（4.29）为 观测信息等于完全信息减去缺失信息 获得 的协差阵的一个估计。可以证明 进一步，由于在 处score的期望为0， 其中 4.2.3　方差估计 如果 或 的解析计算较困难，可通过Monte Carlo方法估计它们（见第6章）。例如， 的最简单的蒙特卡洛估计为 同样， 的一个简单的Monte Carlo估计是由上述抽样所得zi，i=1,…,m计算出的 的样本方差值。 例2 （Censored exponential data）假设在模型Y1,…,Yn ~ i.i.d. Exp(?)下，观测完全数据，但是遇到右删失。观测数据为x=(x1,…,xn)，xi=(min(yi, ci), ?i)，ci是删失水平，如果yi? ci，?i=1；否则?i=0。 指数分布的无记忆性 不可观测 概率密度 由 由此 　 方差为 应用Louis’s method，有 其中 表示没有删失的情形的个数。 在这个基本的例子中，也可以直接证明 　 4.2.3　方差估计 SEM算法 ?表示EM影射，具有不动点 和Jacobian矩阵 Demsper et al.证明 （4.41） 重新表达(4.30)中的缺失信息原则，即 求逆得如下估计 当数值微分策略结合起来估计该增量，Meng和Rubin称该方法为扩展（supplemented ）EM (SEM) Bootstrapping 1、利用x1,…,xn，计算 。令j=1，且令 。 2、增加j，从x1,…,xn中有放回地、完全随机地抽取伪-数据X1*,…,Xn*。计算 。 3、当j足够大时，停止。否则转到第2步。 ? 几千次迭代足够。生成参数估计集 。 样本方差是 方差的估计。抽样分布其他特征可获得。 缺失数据占的比例较高或问题的维数较高使得EM问题的解较慢时，计算上将是难以承受的。 经验信息 当数据是i.i.d.， 定义经验信息为 并用 （4.47）估计 。所有项都是M步的副产品：不需要额外的分析。 (t)关于? 最大化Q(? |? (t))-l(? |x) （见4.25式） 。因此，关于? 求导数，有 　 . 数值微分 为了估计Hessian，计算 在 处的数值微分。 使用(1.10)，每次计算一个变元的微分。 4.3.1　改进E步 4.3.1　改进E步 期望Q(? |? (t)) 较难解析计算，通过Monte