第3章概率后密度函数的参数估计.pptVIP

第三章 概率密度函数的参数估计 3.0 引言 贝叶斯分类器的学习：类条件概率密度函数的估计。 问题的表示：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度 。 概率密度函数的估计方法 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。 3.1 最大似然估计 独立同分布假设：样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ： 似然函数 样本集D出现的概率： 最大似然估计 最大似然估计：寻找到一个最优矢量 ，使得似然函数 最大。 正态分布的似然估计 Gauss分布的参数：由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为： 3.2 期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 混合密度模型 混合密度模型：一个复杂