第三章-概率密度--2018年0509.pptVIP

窗函数的形式 方窗函数 指数窗函数 正态窗函数 其中： 窗口宽度的影响 Parzen估计的性能与窗宽参数hn紧密相关 当hn较大时，x和中心xi距离大小的影响程度变弱，估计的p(x)较为平滑，分辨率较差。 当hn较小时，x和中心xi距离大小的影响程度变强，估计的p(x)较为尖锐，分辨率较好。 窗口宽度的影响 窗函数 密度估计值 5个样本的Parzen窗估计： 渐近收敛性 Parzen窗密度估计的渐近收敛性： 渐进无偏性： 一致性： 当 时， 0 1 2 3 4 5 6 x6 x5 x3 x1 x2 x4 x 例：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x) 解：选正态窗函数 ∵ x是一维的 上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的正态曲线，而PN(x)则是这些曲线之和。 代入： 由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。 例：设待估计的P(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的1个、 16个、 256个作为 学习样本xi,试用窗口法估计PN(x)。 解：采用正态窗函数： μ＝0 ，σ＝1 hN:窗长度，N为样本数，h1为选定可调节的参数。 用 窗法估计单一正态分布的实验 N=∞ N=256 N=16 N=1 由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正态曲线，与窗函数差不多。 ②当N＝16及N=256时 h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。 例：待估的密度函数为二项分布 解：此为多峰情况的估计 设窗函数为正态 解：此为多峰情况的估计 设窗函数为正态 x -2.5 -2 1 0.25 0 2 P(x) -2.5x-2 0x2 x为其它 N=∞ N=256 N=16 N=1 用 窗法估计两个均匀分布的实验 当N=1、16、256、 ∞时的PN(x)估计如图所示 ①当N＝1时， PN(x) 实际是窗函数。 ②当N＝16及N=256时 h1＝0.25 曲线起伏大 h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当N→∞时，曲线较好。 Parzen窗估计 优点 由前面的例子可以看出， Parzen窗估计的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。 可以获得较为光滑且分辨率较高的密度估计，实现了光滑性和分辨率之间的一个较好平衡。 缺点 要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。 窗宽在整个样本空间固定不变，难以获得区域自适应的密度估计。 识别方法 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 例子： 基于Parzen估计的Bayesian分类器 较小 较大 主要内容 概率密度估计 Parzen窗估计 Kn近邻估计 Kn近邻估计 在Parzen窗估计中，存在一个问题：对hn的选择。 若hn选太小，则大部分体积将是空的（即不包含样本），从而使Pn(x)估计不稳定。 若hn选太大，则Pn(x)估计较平坦，反映不出总体分布的变化 Kn近邻法的思想：固定样本数量Kn ，调整区域体积大小Vn，直至有Kn个样本落入区域中 Kn近邻估计 Kn近邻密度估计： 固定样本数为 ，在 附近选取与之最近的 个样本，计算该 个样本分布的最小体积 在X处的概率密度估计值为： Kn近邻估计 Parzen窗估计与Kn近邻估计的对比 Parzen窗估计 Kn近邻估计 渐近收敛的条件 渐近收敛的充要条件为： 通常选择： Kn近邻估计 例子： Parzen窗估计 Kn近邻估计 例子： Parzen windows kn-nearest-neighbor 斜率不连续 当n值为有限值时Kn近邻估计十分粗糙 例子： Parzen windows kn-nearest-neighbor Kn近邻估计 Kn近邻后验概率估计： 给定i.i.d.样本集