概率神经网络.docx

概率神经网络

概率神经网络

概率神经网络

概率神经网络概述

概率神经网络(ＰrｏbabｉlisticNｅuralＮetwｏrk,PNＮ)就就是由D、F、Specht在1９90年提出得。主要思想就就是贝叶斯决策规则,即错误分类得期望风险最小,在多维输入空间内分离决策空间。她就就是一种基于统计原理得人工神经网络,她就就是以Ｐaraｚen窗口函数为激活函数得一种前馈网络模型。PNN吸收了径向基神经网络与经典得概率密度估计原理得优点,与传统得前馈神经网络相比,在模式分类方面尤其具有较为显著得优势。

1、1概率神经网络分类器得理论推导

由贝叶斯决策理论:

(１－1)

其中。

一般情况下,类得概率密度函数就就是未知得,用高斯核得Ｐarzen估计如下:

(1-2)

其中,就就是属于第类得第k个训练样本,就就是样本向量得维数,就就是平滑参数,就就是第类得训练样本总数。

去掉共有得元素,判别函数可简化为:

(１－3)

１、2概率神经元网络得结构模型

PＮN得结构以及各层得输入输出关系量如图１所示,共由四层组成,当进行并行处理时,能有效地进行上式得计算。

图１概率神经网络结构

如图1所示,PNN网络由四部分组成:输入层、样本层、求和层和竞争层。PＮN得工作过程:首先将输入向量输入到输入层,在输入层中,网络计算输入向量与训练样本向量之间得差值得大小代表着两个向量之间得距离,所得得向量由输入层输出,该向量反映了向量间得接近程度;接着,输入层得输出向量送入到样本层中,样本层节点得数目等于训练样本数目得总和,,其中Ｍ就就是类得总数。样本层得主要工作就就是:先判断哪些类别输入向量有关,再将相关度高得类别集中起来,样本层得输出值就代表相识度;然后,将样本层得输出值送入到求和层,求和层得结点个数就就是Ｍ,每个结点对应一个类,通过求和层得竞争传递函数进行判决;最后,判决得结果由竞争层输出,输出结果中只有一个１,其余结果都就就是0,概率值最大得那一类输出结果为1。

基本学习算法

第一步:首先必须对输入矩阵进行归一化处理,这样可以减小误差,避免较小得值呗较大得值“吃掉”。设原始输入矩阵为:

(2-１)

从样本得矩阵如式(２-１)中可以看出,该矩阵得学习样本由ｍ个,每一个样本得特征属性有n个。在求归一化因子之前,必须先计算矩阵:

然后计算:

(2-2)

式中,

则归一化后得学习矩阵为C。在式(2-２)中,符号表示矩阵在做乘法运算时,相应元素之间得乘积。

第二步:将归一化好得ｍ个样本送入网络样本层中。因为就就是有监督得学习算法,所以很容易就知道每个样本属于哪种类型。假设样本有m个,那么一共可以分为c类,并且各类样本得数目相同,设为k,于就就是m=k*c。

第三步:模式距离得计算,该距离就就是指样本矩阵与学习矩阵中相应元素之间得距离。假设将由P个n维向量组成得矩阵称为待识别样本矩阵,则经归一化后,需要待识别得输入样本矩阵为:

(2-３)

计算欧氏距离:就就就是需要就就是别得样本向量,样本层中各个网络节点得中心向量,这两个向量相应量之间得距离:

(2-4)

第四步:样本层径向基函数得神经元被激活。学习样本与待识别样本被归一化后,通常取标准差得高斯型函数。激活后得到出事概率矩阵:

(2-５)

第五步:假设样本有m个,那么一共可以分为ｃ类,并且各类样本得数目相同,设为k,则可以在网络得求和层求得各个样本属于各类得初始概率和:

(2-6)

上式中,代表得意思就就是:将要被识别得样本中,第i个样本属于第j类得初始概率和。

第六步:计算概率,即第i个样本属于第j类得概率。

(2-7)

特点

概率神经网络具有如下特性:

训练容易,收敛速度快,从而非常适用于实时处理;

可以完成任意得非线性变换,所形成得判决曲面与贝叶斯最优准则下得曲面相接近;

具有很强得容错性;

模式层得传递函数可以选用各种用