最大似然估计和贝叶斯参数估计.ppt

Chapter 3: 最大似然估计和贝叶斯参数估计 贝叶斯框架下的数据收集 在以下条件下我们可以设计一个可选择的分类器 : P(?i) (先验) P(x | ?i) (类条件密度) 不幸的是，我们极少能够完整的得到这些信息! 从一个传统的样本中设计一个分类器 先验估计不成问题 对类条件密度的估计存在两个问题：1）样本对于类条件估计太少了；2） 特征空间维数太大了，计算复杂度太高。 如果可以将类条件密度参数化，则可以显著降低难度。 例如：P(x | ?i)的正态性 P(x | ?i) ~ N( ?i, ?i) 用两个参数表示 将概率密度估计问题转化为参数估计问题。 估计 最大似然估计 (ML) 和贝叶斯估计； 结果通常很接近, 但是方法本质是不同的。 最大似然估计将参数看作是确定的量，只是其值是未知! 通过最大化所观察的样本概率得到最优的参数—用分析方法。 贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近形成最大尖峰。 在这两种方法中，我们都用后验概率P(?i | x)表示分类准则! 当样本数目增加时，收敛性质会更好； 比其他可选择的技术更加简单 。 假设有c类样本，并且 1）每个样本集的样本都是独立同分布的随机变