模式识别课程概率密度函数估计学时.pptVIP

国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 完整似然函数 若隐含变量 的值已知，得到完整数据的log似然函数为： 【4 EM算法举例】 步骤1. EM—Expectation 观测数据X已知，参数的当前值 已知，在完整似然函数中，缺失数据(隐含变量) Y未知，完整log似然函数对Y求期望。 定义 其中 是待确定的参数 通过求期望，去掉了完整似然函数中的变量Y。即EM的E步。 【4 EM算法举例】 步骤2. EM—Maximization 对E步计算得到的完整似然函数的期望求极大值（EM的M步），得到参数新的估计值，即 每次参数更新会增加非完整似然值 反复迭代后，会收敛到似然的局部最大值 【4 EM算法举例】 EM的收敛性 其中， 当Q取极大值时，观测数据的似然也在相同点取极大值 EM算法会收敛到似然的局部极大值 【4 EM算法举例】 混合模型中的EM算法 完整似然函数： 根据贝叶斯公式，Y的条件分布： 【4 EM算法举例】 混合模型中的EM算法 E步 将完整似然函数和Y的条件分布代入Q函数中，经过复杂的变换得到， M步 求Q函数最大时的参数 反复迭代，直到收敛 【4 EM算法举例】