第三章最大似然估计贝叶斯参数估计.pptVIP

第三章:最大似然估计 贝叶斯参数估计 介绍 贝叶斯框架下的数据收集 在以下条件下我们可以设计一个可选择的分类器 : P(?i) (先验) P(x | ?i) (类条件密度) 不幸的是，我们极少能够完整的得到这些信息! 从一个传统的样本中设计一个分类器 先验估计不成问题 样本对于类条件密度估计太小了 (特征空间维数太大了!) 这个问题的一个先验信息 P(x | ?i)的正态性 P(x | ?i) ~ N( ?i, ?i) 用两个参数标示 估计 最大似然估计 (ML) 和贝叶斯估计 结果近似于独立, 但是方法是不同的 最大似然估计中的参数是固定的但是未知! 通过最大化所观察的样本概率得到最优的参数 贝叶斯方法把参数当成服从已知分布的随机变量 在这两种方法中，我们用P(?i | x)表示分类规则! 最大似然估计 当样本数目增加时，收敛性质会更好 比其他可选择的技术更加简单 一般的原理  假设有c类并且 P(x | ?j) ~ N( ?j, ?j) P(x | ?j) ? P (x | ?j, ?j) 当: 使用训练样本提供的信息估计 ? = (?1, ?2, …, ?c), 每个 ?i (i = 1, 2, …, c) 和每一类相关 假定D包括n个样本, x1, x2,…, xn ?的最大似然估计是通