模式识别(密度估计).pptVIP

第3章 概率密度函数的估计 3.1 引言 3.2 参数估计的基本概念 3.3 最大似然估计与正态分布的参数估计 3.4 Bayes估计与正态分布参数的估计 3.5 总体分布的非参数估计 3.6 分类器错误率的估计问题 3.1 引言 在贝叶斯决策理论中，基本的已知条件是： 类先验概率 P(ωi) 类条件概率密度 p(x |ωi ) 疑问： 它们从何而来？ 分类器的设计分成两步来完成： 1 利用样本集估计出P(ωi) 、 p(x |ωi )（本章要解决的基本问题） 2 利用Bayes决策理论设计分类器（前一章已经解决的问题） 本章要解决的三个问题 如何用样本集估计出P(ωi) 、 p(x |ωi )的估计量 评估与分析估计量的性质 利用样本集估计分类器错误率的方法 从样本集推断总体概率分布的方法 说明： 监督：样本的类别是已知的 非监督：样本的类别是未知的 参数估计：概率密度形式已知，只需推断出其中的未知参数 非参数估计：直接推断出概率密度本身 监督参数估计 条件：已知样本所属的类别及类条件总体概率密度函数的形式，未知概率密度函数的某些参数 监督参数估计：从已知类别的样本集，推断（估计）出总体分布（每一类概率密度函数）的某些参数的方法 例如：从样本求正态分布的均值向量与协方差矩阵 非监督参数估计 条件：未知样本所属类别，已知总体概率密度函数形式，但未知其中的某些参数