《第2章密度估计2.pptVIP

K近邻分类准则：对于待分样本x，找出它的k个近邻，检查它的类别，把x归于样本最多的那个类别。 K近邻分类的错误率随K↑，Pk↓,最低的错误率为Bayes分类。 P* PK Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 最近邻分类准则：待分样本x，找一个离它最近的样本，把x归于最近的样本一类。 Bayes P P(e) K近邻 最近邻 最近邻分类法则的错误率P比K近邻错误率还大，但最大不会超过贝叶斯分类器错误率的二倍。 M为类别数,P(e)为Bayes估计的错误率 错误率： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. References Yingquan Wu“Improved k-nearest neighbor classification” Pattern Recognition 35 (2002) 2311–2318(/locate/patcog) Marco Ramoni ”Robust Bayes classifiers” Artificial Intelligence 125 (2001) 209~226(/locate/artint) Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. * 第2章 概率密度函数的估计 2.1 引言 2.2 参数估计的基本概念 2.3 最大似然估计与正态分布的参数估计 2.4 Bayes估计与正态分布参数的估计 2.5 总体分布的非参数估计 2.6 分类器错误率的估计问题 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 参数化估计：Bayesian估计。假设概率密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的，即有多个局部极大值 。 实际中样本维数较高，且关于高维密度函数可以表示成一些低维密度函数乘积的假设通常也不成立。 本节介绍非参数估计方法：能处理任意的概率分布，而不必假设密度函数的形式已知。 2.5.1总体密度函数的非参数估计 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 非参数估计: 直接用已知类别的样本去估计总体密度分布。 方法有： ①?用学习样本直接去估计类概率密度p(x|ωi)以此来设计分类器。 如Parzen窗法 ②?用学习样本直接估计后验概率p(ωi|x)作为分类准则来设计分类器。如k近邻法. 2.5.1总体密度函数的非参数估计 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 思路: 从样本集 X 估计样本空间任何一点 x 的概率密度 P(x) 如果样本集 X 全部来自于某一类别wi ,则估计的是类条件概率密度 函数P( x | wi ). 如果样本集 X 全部来自于c个类别而又无法分清哪个样本来自哪个类别( mixture models),则估计的是混合概率密度 函数P(x) ：总体概率密度函数. 出发点:随机变量 x 落入某一区域 的概率P 2.5.1总体密度函数的非参数估计 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 其中Р是样本x落入 内的概率。 如果有N个样本 x1, x2, …, xN是从密度为p(x) 的总体中独立抽取出来的,则N个样本中有个k落入区域 中的概率值