概率神经网络.pdf

-

概率神经网络概述

概率神经网络〔ProbabilisticNeuralNetwork，PNN〕是由D.F.Specht

在1990年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小，

在多维输入空间内别离决策空间。它是一种基于统计原理的人工神经网络，它是

以Parazen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经

网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分

类方面尤其具有较为显著的优势。

1.1概率神经网络分类器的理论推导

由贝叶斯决策理论：



ifp(wi|x)p(wj|x)ji,thenxwi〔1-1〕



其中p(wi|x)p(wi)p(x|wi)。



一般情况下，类的概率密度函数p(wi|x)是未知的，用高斯核的Parzen估

计如下：

2



xxik

1Ni1

p(x|wi)lexp()〔1-2〕

k1l2

22

Ni2



其中，xik是属于第wi类的第k个训练样本，l是样本向量的维数，是

平滑参数，Ni是第wi类的训练样本总数。

去掉共有的元素，判别函数可简化为：

2



xxik

p(wi)Ni

gi(x)exp()〔1-3〕

Nik122

.z.

-

1.2概率神经元网络的构造模型

PNN的构造以及各层的输入输出关系量如图1所示，共由四层组成，当进

展并行处理时，能有效地进展上式的计算。

图1概率神经网络构造

如图1所示，PNN网络由四局部组成：输入层、样本层、求和层和竞争层。



PNN的工作过程：首先将输入向量x输入到输入层，在输入层中，网络计算输



入向量与训练样本向量之间的差值|x-xik|的大小代表着两个向量之间的距离，

所得的向量由输入层输出，该向量反映了向量间的接近程度；接着