概率密度函数的估计..pptVIP

第四章 概率密度函数的估计;§4-1 概率密度估计的基础知识 贝叶斯分类器中只要知道先验概率、条件概率或后验概概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。;二．监督参数估计与非监督参数估计 监督参数估计：样本所属的类别及类条件总体概率概率密度函数的形式已知，而表征概率密度函数的某些参数是未知的。目的在于：由已知类别的样本集对总体分布的某些参数进行统计推断，此种情况下的估计问题称为监督参数估计。 非监督参数估计：已知总体概率密度函数形式但未知样本所属类别，要求推断出概率密度函数的某些参数，称这种推断方法为非监督情况下的参数估计。 注：监督与非监督是针对样本所属类别是已知还是未知而言的。;三. 参数估计的基本概念 1. 统计量：样本中包含着总体的信息，总希望通过样本集把有关信息抽取出来。也就是说，针对不同要求构造出样本的某种函数，该函数称为统计量。 2. 参数空间：在参数估计中，总假设总体概率密度函数的形式已知，而未知的仅是分布中的参数，将未知参数记为