parzen窗方法的分析和研究.pdfVIP

对 Parzen窗/PNN 算法的学习和研究报告 姓名：吴潇 学号： 1333755 1、 Parzen 窗方法综述、发展历史及现状 模式识别领域的非参数估计方法大致可以分为两类。 第一种类型是先估计出概率密度函 数的具体形式，然后再利用这个估计出来的概率密度函数对样本进行分类。第二种类型是， 不估计具体的概率密度函数， 而直接根据样本进行分类。 Parzen 窗方法就是属于第一种类型 的非参数估计方法，概率神经网络（ PNN）是它的一种实现方式。 Parzen 窗方法的基本思想 是利用一定范围内的各点密度的平均值对总体密度函数进行估计。 Parzen 窗（ Parzen window ）又称为核密度估计（ kernel density estimation ），是概率论中 用来估计未知概率密度函数的非参数方法之一。该方法由 Emanuel Parzen 于 1962 年在 The Annals of Mathematical Statistics 杂志上发表的论文“ On Estimation of a Probability Density Function and Mode ” 中首次提出。 Nadaraya 和 Watson 最早把这一方法用于回归法中。 Specht 把这一方法用于解决模式分类的问题， 并且在 1990 年发表的论文 “Probabilistic neural networks ” 中提出了 PNN 网络的硬件结构。 Ruppert 和 Cline 基于数据集密度函数聚类算法 提出了修订的核密度估计方法，对 Parzen 窗做了一些改进。 Parzen 窗方法虽然是在上个世纪 60 年代提出来的， 已经过去了 45 年的时间， 看上去是 一种很 “古老”的技术， 但是现在依然有很多基于 Parzen 窗方法的论文发表。 这说明 Parzen 窗方法的确有很强的生命力和实用价值，虽然它也存在很多缺点。 2、Parzen 窗方法和概率神经网络 Parzen 窗方法就是基于当样本个数 n 非常大的时候， 有公式 成立这样的一 个事实而提出的。通过计算在一个区域 R 内的频数 k/n ，用这个频数来估计这一点的频率， 从而得到这一点的概率。当 n 趋于无穷大的时候， p(x) 等于该点的实际概率。这种方法就 是模式识别领域中的非参数估计方法。 Parzen 窗方法就是通过构造一系列的区域： ， ， ， ，在这些区域内计算 k/n 。 记 V 为区域 R 的体积，k 为落在区域 R 中的样本个数， 表示对 的第 n 次估计， n n n n 于是有： 为了保证 能够收敛到 ，必须满足以下 3 个条件： 1） 2 ） ∞ 3 ） Parzen 窗方法的实质就是通过对上面的区域 Rn ，每次按照 来构造区域序 列，使区域逐渐收缩到一个给定的初始区间。它不断收缩区域，按照公式把区域不断缩小， 而不关心该区域实际上包含多少个样本点。另外一种与它相对应的非参数估计方法是 K -近 n 邻法。 假设区间 R h n 是一个 d 维的超立方体， n