模式识别-4-概率密度函数的估p计.pptVIP

第四章 概率密度函数的估计 概率密度估计的基础知识 参数估计理论 极大似然估计（MLE） 贝叶斯估计（或称最大后验估计） 贝叶斯学习 非参数估计理论 密度估计 Parzen窗估计 K近邻估计（KNE） §4-1 概率密度估计的基础知识 贝叶斯分类器中只要知道先验概率、条件概率或后验概概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。 二．监督参数估计与非监督参数估计 监督参数估计：样本所属的类别及类条件总体概率概率密度函数的形式已知，而表征概率密度函数的某些参数是未知的。目的在于：由已知类别的样本集对总体分布的某些参数进行统计推断，此种情况下的估计问题称为监督参数估计。 非监督参数估计：已知总体概率密度函数形式但未知样本所属类别，要求推断出概率密度函数的某些参数，称这种推断方法为非监督情况下的参数估计。 注：监督与非监督是针对样本所属类别是已知还是未知而言的。 三. 参数估计的基本概念 1. 统计量：样本中包含着总体的信息，总希望通过样本集把有关信息抽取