第4章统计分类器及其学习第三讲.pptVIP

第四章统计分类器及其学习第三讲 贝叶斯估计、GMM模型与EM算法 贝叶斯决策 贝叶斯估计 贝叶斯决策贝叶斯估计 贝叶斯估计定理 贝叶斯估计步骤： 贝叶斯估计示例： 类条件概率密度的计算 贝叶斯参数估计小结： 4.3期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 基本EM算法 令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=X?Y。 基本EM算法 由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值： 基本EM算法 begin initialize ，T，i?0； do i?i+1 E步：计算 ; M步： until return 混合密度模型 一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： GMM模型产生的2维样本数据 两个高斯函数的混合 混合密度模型的参数估计 混合密度模型的参数可以表示为： GMM参数的EM估计算法 设定混合模型数M，初始化模型参数 ，阈值T，i?0； 用下列公式迭代计算模型参数，直到似然函数变化小于T为止： EM算法的性质 EM算法具有收敛性； EM算法只能