模式识别课件 第三章最大似然估计和贝叶斯参数估计.pdf

Chapter 3: 最大似然估计和贝叶斯参数估计 要点： • 重点掌握最大似然估计和贝叶斯参数估计的原理; • 熟练掌握主成分分析和Fisher线性分析; • 掌握隐马尔可夫模型; • 了解维数问题; • 3.1 引 言 贝叶斯框架下的数据收集  在以下条件下我们可以设计一个可选择的分类器:  P( ) (先验) i  P(x |  ) (类条件密度) i 不幸的是，我们极少能够完整的得到这些信息! 从一个传统的样本中设计一个分类器  先验估计不成问题  对类条件密度的估计存在两个问题：1）样本对于 类条件估计太少了；2 ）特征空间维数太大了，计 算复杂度太高。 如果可以将类条件密度参数化，则可以显著 降低难度。 例如：P(x |  )的正态性 i P(x |  ) ~ N(  ,  ) i i i  用两个参数表示 将概率密度估计问题转化为参数估计问题。 估计  最大似然估计(ML) 和贝叶斯估计；  结果通常很接近, 但是方法本质是不同的。  最大似然估计将参数看作是确定的量，只是其值是 未知! 通过最大化所观察的样本概率得到最优的参 数—用分析方法。  贝叶斯方法把参数当成服从某种先验概率分布的随 机变量，对样本进行观测的过程，就是把先验概率 密度转化成为后验概率密度，使得对于每个新样本， 后验概率密度函数在待估参数的真实值附近形成最 大尖峰。  在这两种方法中，我们都用后验概率P( | x)表示分 i 类准则! • 3.2 最大似然估计  最大似然估计的优点：  当样本数目增加时，收敛性质会更好；  比其他可选择的技术更加简单。 3.2.1 基本原理 假设有c类样本，并且 1）每个样本集的样本都是独立同分布的随机变量； 2 ）P(x |  ) 形式已知但参数未知，例如P(x |  ) ~ N(  ,  )； j j j j 3 ）记P(x |  )  P (x |  ,  )，其中 j j j  ( , ) j j j  使用训练样本提供的信息估计  = ( ,  , …,  ), 每个 (i = 1, 2, …, c) 只和每一 1 2 c i 类相关 。  假定D包括n个样本, x , x ,…, x 1 2 n k n P (D |  ) P (xk |  ) F ( ) k 1 P (D |  ) 被称为样本集 D下的似然函数  的最大似然估计是通过定义最大化P(D | )的值 ˆ  “值与实际观察中的训练样本最相符” 2