Parzen窗算法_PNN神经网络.pdf

Parzen 窗算法_PNN 神经网络（--by 小马哥） 1. Parzen 窗算法的推导 这两天在学习《模式分类》的无参数技术，我们知道Parzen 窗算法，就是一种典型的无参数技术，所 谓的无参数技术，就是在不知道概率密度函数形式的情况下，如何从训练样本中能够直接估计出概率密度 函数p (x |w ) ，并且通过这个估计出的概率密度函数来设计分类器。 j 还有一种无参数技术，是通过直接估计后验概率p (wj | x) ，从而直接进行判别函数的实际，比如说“最 近邻规则”就是这么一种算法，不过这种算法不在本文考虑范围之内，本文只讨论第一种算法。 本文所涉及的内容，仅仅是对《模式分类》教材中，有一些内容讲的跳跃性过大的补充，教材中有的 内容，一笔带过。 1.1 概率密度的估计 根据《模式分类》教材中所说，估计未知概率密度函数的核心思想是：一个向量落在区域 中的概率 R 为： P p (x )dx （1.1） R p 因此， 是概率密度函数p (x) 平滑了版本。因此我们可以通过估计概率 来估计概率密度函数 。假设n P P 个样本x ,..., x 独立，且都服从概率密度函数p (x) 。那么， 个样本落在区域 中的概率服从二项式定律： k R 1 n n   k nk P P (1P ) （1.2） k   k   因为 服从二项式定理，所以 的期望值为： k k E (k ) nP （1.3） 而且，这个 的二项式形式的分布，在均值附近有非常显著的波峰。而且，参考浙大《概率论》教材P 137-138 k P 页，对经验分布函数的观察值那一个例子，我们可以得到比值k / n 就是概率 的一个很精确的估计。并且 根据P138 页中，格里汶科证明，当样本个数 非常大的时候，这个估计非常精确。假设p (x) 是连续的， n R p 并且区域 足够小，以至于在这个区间中 几乎没有变化（实际上这里利用了积分的思想），那么有： p (x )d x  p (x)V （1.4）