培训模式识别-4-概率密度函数的估计.pptVIP

∵ ф(u) 是以原点x为中心的超立方体。 ∴在xi落入方窗时，则有 在VN内为1 不在VN内为0 落入VN的样本数为所有为1者之和 ∴ 密度估计 * 讨论： ① 每个样本对估计所起的作用依赖于它到x的距离，即 | x-xi|≤hN/2时， xi在VN内为1，否则为0。 ② 称为 的窗函数，取0，1两种值，但有 时可以取0, 0.1, 0.2，…多种数值，例如随xi离x接近的程度， 取值由0, 0.1, 0.2，…到1。 * ③ 要求估计的PN(x)应满足： 为满足这两个条件，要求窗函数满足： ④ 窗长度hN对PN(x)的影响 若hN太大, PN(x)是P(x)的一个平坦, 分辨率低的估计, 有平均误差 若hN太小, PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差 为了使这些误差不严重， hN应很好选择。 * 例1：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x) 解：选正态窗函数 0 1 2 3 4 5 6 x6 x5 x3 x1 x2 x4 x * ∵x是一维的 上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中 心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。 * 由图看出，每个样本对估计的贡献与样本间 的距离有关，样本越多， PN(x)越准确。 * 例2：设待估计的P(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的1个、 16个、 256个作为 学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0 hN:窗长度，N为样本数，h1为选定可调节的参数。 * 用 窗法估计单一正态分布的实验 N=∞ N=256 N=16 N=1 * 讨论：由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。 ②当N＝16及N=256时 h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦，平均误差 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。 * 例3：待估的密度函数为两个均匀 分布密度的混合密度 解：此为多峰情况的估计 设窗函数为正态 -2.5x-2 0x2 其它 x -2.5 -2 1 0.25 0 2 P(x) * N=∞ N=256 N=16 N=1 用 窗法估计两个均匀分布的实验 * 当N=1、16、256、 ∞时的PN(x)估计如图所示 ①当N＝1时， PN(x) 实际是窗函数。 ②当N＝16及N=256时 h1＝0.25 曲线起伏大；h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当N→∞时，曲线较好。 结论： ①由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。 ②要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。 * 3. KN近邻估计： 在窗口法中存在一个问题是对hN的选择问题。若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化，而KN近邻法的思想是以x为中心建立空包，使V↑，直到捕捉到KN个样本为止，因此称其为KN-近邻估计。 V的改进体现为：样本密度大，VN ↓; 样本密度小，VN ↑; ∴P(x)的估计为： * 使PN(x)收敛于P(x)的充分必要条件： ① ，N与KN同相变化 ② ，KN的变化远小于N的变化 ③