径向基概率神经网络与径向基函数神经网络比较研讨.pdfVIP

径向基概率神经网络与径向基函数神经网络比较研究 赵温波黄德双康南生孙丙宇 (中科院合肥智能机械研究所) 摘要本文主要讨论径向基概率神经网络与径向基函数神经的性能差异，理论上证明了径 向基概率神经网络，在训练、测试速度方面上和在序列预测的抗噪方面，明显优于 径向基函数神经网络。 关键词径向基概率神经网络径向基函数神经网络隐中心矢量时间序列预测 l引言 径向基函数神经网络(m3FNN)是_种用途十分广泛的神经网络模型[1．3】，它的网络结构 如图l所示，该神经网络结构有三层拓扑结构：第一层为输入层，第二层为隐层，第三层为 输出层。其中，第二层，也就是该网络的唯一隐层主要完成非线划分与逼近功能，是网络功 能发挥的核心部分。一般来说，该网络的输入层与隐层之间的权重无需要训练，它是以矢量 的形式存在，又称隐中心矢量，而且该网络结构的隐层传输函数也与普通的前馈型神经网络 (阶Ⅲ)有区别。特别是在用于有标记模式分类情况下，它是以核函数为基础的，这种核函数源 自非参数密度估计Parzen窗函数方法[4】。该方法执行密度估计的原理就是：在有足够多训练 样本的条件下，可以保证网络收敛于输入样本的概率密度。因此，用于有标记模式分类的 RBFNN隐层的作用，可以概括为，将输入样本映射为其在样本空间的概率密度聚类。从图1 中我们还可以看出，RBFNN的输出层是隐层输出的线性组合，因此，该网络的权重训练非常 简单，有许多方法可选择【5，6】，而且在训练速度方面，也远远优子其它类别的前馈神经网络， 特别是优于多层感知器网络(MLP)。 径向基概率神经网络(RBrNN)，是近年来提出的一种新型前馈神经网络【7】，网络的拓扑 结构如图2。该网络由四层组成，第一层为输入层，第二层和第三层为隐层，第四层为输出层。 两个隐层实现输入的非划性划分，是该网络的核心部分。该网络的第一隐层的作用机理与 RBFNN相同。RBPNN的第二隐层与第一隐层之间的权重也不需要训练，它是对第一隐层的 输出进行有选择的求和。该网络的第二隐层与输出层之间的权重与RBFNN的相同，同样，在 训练速度方面有明显的优势。 通过上面的介绍，我们可以看出，这两种网络在结构上非常相似，RBPNN除了多一层隐 层以外，与RBPNN几乎没有区别。既然这两个网络结构模型如此相似，那么，是否在网络性 能上也雷同，或有些区别?这是本文所要研究的主要内容。本文主要从理论上讨论这两种神 经网络的性能差异。 本篇得到国家自然科学基金和973重大项目前期专项的资助 768 yl X1 y2 X2 Y-一l ： ● Xn y- 图1径向基函数神经网络(RBFNN)的拓扑结构 yl y2 Y。 图2