3.2Bayes学习试题.ppt

GMMS的参数估计 EM算法根据当前假设?1...?k，不断地再估计隐藏变量znj的期望值，然后用这些隐藏变量的期望值重新计算极大似然假设 先将假设初始化为h=?1, …, ?k 计算每个隐藏变量zij的期望值E[zij] 计算一个新的极大似然假设h’=?’1, …, ?’k，假定每个隐藏变量zij所取值是第一步得到的期望值E[zij]。 将假设替换为h’=?’1, …,?’k，然后循环 GMMS的参数估计-EM算法 E[zij]正是实例x(i)由第j个正态分布生成的概率 第二步，使用第一步得到的E[zij]来导出新的极大似然假设 GMMS的参数估计-EM算法 第二步中表达式类似于求均值，只是变成了加权样本均值 EM算法的要点： 当前的假设用于估计未知变量，而这些变量的期望值再被用于改进假设 可以证明 算法的每一次循环中，EM算法能使似然P(D|h)增加，除非P(D|h)达到局部最大， 因此算法收敛到一个局部最大似然假设 GMMS的参数估计-EM算法 贝叶斯问题框架 要估计k个正态分布的均值?=?1...?k 观察到的数据是X={x(i) } 隐藏变量Z={zi1,...,zik}表示k个正态分布中哪一个生成x(i) 用于表达式L(h’|h)的推导 单个样本的概率 GMMS的参数估计-EM算法 所有实例的联合概率的对数 计算期望值E GMMS的参数估计-EM算法 求