第2章密度估计.pptVIP

K近邻分类准则：对于待分样本x，找出它的k个近邻，检查它的类别，把x归于样本最多的那个类别。 K近邻分类的错误率随K↑，Pk↓,最低的错误率为Bayes分类。 P* PK 最近邻分类准则：待分样本x，找一个离它最近的样本，把x归于最近的样本一类。 Bayes P P(e) K近邻 最近邻 最近邻分类法则的错误率P比K近邻错误率还大，但最大不会超过贝叶斯分类器错误率的二倍。 M为类别数,P(e)为Bayes估计的错误率 错误率： References Yingquan Wu“Improved k-nearest neighbor classification” Pattern Recognition 35 (2002) 2311–2318(/locate/patcog) Marco Ramoni ”Robust Bayes classifiers” Artificial Intelligence 125 (2001) 209~226(/locate/artint) * * * * * * * * 第2章 概率密度函数的估计 2.1 引言 2.2 参数估计的基本概念 2.3 最大似然估计与正态分布的参数估计 2.4 Bayes估计与正态分布参数的估计 2.5 总体分布的非参数估计 2.6 分类器错误率的估计问题 参数化估计：Bayesian估计。假设概率密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的，即有多个局部极大值 。 实际中样本维数较高，且关于高维密度函数可以表示成一些低维密度函数乘积的假设通常也不成立。 本节介绍非参数估计方法：能处理任意的概率分布，而不必假设密度函数的形式已知。 2.5.1总体密度函数的非参数估计 非参数估计: 直接用已知类别的样本去估计总体密度分布。 方法有： ①?用学习样本直接去估计类概率密度p(x|ωi)以此来设计分类器。 如Parzen窗法 ②?用学习样本直接估计后验概率p(ωi|x)作为分类准则来设计分类器。如k近邻法. 2.5.1总体密度函数的非参数估计 思路: 从样本集 X 估计样本空间任何一点 x 的概率密度 P(x) 如果样本集 X 全部来自于某一类别wi ,则估计的是类条件概率密度 函数P( x | wi ). 如果样本集 X 全部来自于c个类别而又无法分清哪个样本来自哪个类别( mixture models),则估计的是混合概率密度 函数P(x) ：总体概率密度函数. 出发点:随机变量 x 落入某一区域 的概率P 2.5.1总体密度函数的非参数估计 其中Р是样本x落入 内的概率。 如果有N个样本 x1, x2, …, xN是从密度为p(x) 的总体中独立抽取出来的,则N个样本中有个k落入区域 中的概率值 Рk是二项分布的. 抽取的N个样本中, k个样本落入区域 中的概率.为 : 假如: 区域 足够小 2)p(x)连续 由 确定的概率密度函数 可看作总体密度函数p(x)在区域 上的估计值. 当 时， 估计是非常精确的 则有: x p(x) R 2.5.1总体密度函数的非参数估计 x点的概率密度函数的估计值 与样本数N,包含x的区域 的体积V及落入V中的样本数k有关. 结论: 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 问题：V 和K如何选择呢？ 2.5.1总体密度函数的非参数估计 讨论: ① 当V固定的时候N增加, k也增加,当 时 只反映了p(x)的空间平均估计，而反映不出空间的变化 ② N固定,体积变小 当 时, k=0时 时 所以起伏比较大,噪声比较大,需要对V进行改进. 理论上假设样本总数是无限的，可以利用极限的方法来研究密度函数的估计。设： R1 , R2 ,…, RN ,… 是一串包含 x 的区域序列 对R1采用一个样本估计,对R2采用二个样本估计,对RN采用N个样本估计,… VN是RN的体积, kN是落入RN中的样本数, 若满足以下三个条件: 区域随样本数目N的缩小平滑的缩小 落入区域中的样本数逐渐增多 区域内的样本数和总样本数相比仍可忽略 * Parzen窗法：