参数估计与非参数估计.PPT

北京邮电大学信息工程学院 第五章 参数估计与非参数估计 参数估计与监督学习 参数估计理论 非参数估计理论 §5-1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型。 二．监督学习与无监督学习 监督学习:在已知类别样本指导下的学习和训练, 参数估计和非参数估计都属于监督学习。 无监督学习:不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。 §5-2参数估计理论 一．最大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个