概率神经网络（一）.pdfVIP

概率神经网络概述 概率神经网络（Probabilistic Neural Network，PNN）是由D. F. Specht 在 1990 年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小， 在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是 以Parazen 窗口函数为激活函数的一种前馈网络模型。PNN 吸收了径向基神经网 络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类 方面尤其具有较为显著的优势。 1.1 概率神经网络分类器的理论推导 由贝叶斯决策理论： → → → if p(wi | x)  p(wj | x) j  i,then x wi （1-1） → → 其中p(w | x) = p(w) p(x | w) 。 i i i → 一般情况下，类的概率密度函数p (wi | x) 是未知的，用高斯核的Parzen 估 计如下： 2 → → x −xik → 1 Ni 1 p(x | wi ) =  l exp(− ) （1-2） k =1 l 2 N 2 2 i 2   → 其中， 是属于第 类的第 k 个训练样本， 是样本向量的维数， 是 x w l  ik i 平滑参数， 是第 类的训练样本总数。 N w i i 去掉共有的元素，判别函数可简化为： 2 → → x −xik → p (wi ) N i g i (x) exp(− ) （1-3） N i k 1 22 1 1.2 概率神经元网络的结构模型 PNN 的结构以及各层的输入输出关系量如图1 所示，共由四层组成，当进行 并行处理时，能有效地进行上式的计算。 图1 概率神经网络结构 如图 1 所示，PNN 网络由四部分组成：输入层、样本层、求和层和竞争层。 → x PNN 的工作过程：首先将输入向量 输入到输入层，在输入层中，网络计算输入