曲率变化及BP网络结构对于函数逼近效果影响的研究.pdfVIP

| 曲率变化及BP网络结构对于函数 J 及 逼近效果影响的研究 曰 高海燕 薄亚明 刘国栋 (无锡轻工大学信息与控制学院无锡214036) 摘 要:本文研究了曲率变化不同的曲线BP网络结构对于函数退近效果的影响，最后得出了 结论。 关挂词:BP网络，BP算法.神经网络，网络结构 1 引言 BP(BackPropagation)网络是目前应用最为广泛的神经网络之一。尽管其A练算法— BP算法已 成功应用于许多实际间题，但是BP算法易陷于局部极小值，收敛速度慢，并且需事先确定网络结构(隐 层数和每层节点数)。神经网络结构是影响网络性能的重要因素之一。只要有足够多的隐层和隐节点， BP网络可以通近任意的非线性函数。如果BP网络规模过大。它能很好学习训练样本，输出误差小，但 是网络对于权值的过拟合会造成网络容错能力的下降;如果BP网络规模过小，它具有较好的泛化能 力，但是学习过程可能不收敛[21。对于BP网络的结构，许多学者进行了创造性的研究。但是对于曲率 变化不同的曲线，研究BP网络结构对函数通近效果的影响，作者尚未查阅到相关文献。本文试图在这 一方面作出尝试。 2BP网络结构与BP算法 BP网络一般由充分连接的三层以上的单元组成。前一层的每一单元的输出都与后一层单元的输 人相连接，层中的单元间没有连接。网络不仅有输人层节点、输出层节点，而且还有隐层节点(可以是一 层或多层)。对于翰人信号，要先向前传播到隐节点，经过作用函数后，再把隐节点的输出信息传播到输 出节点，”给出“结果。节点的作用函数通常选取S型函数:f(s)不le-I。理论上现已证明具 有S型隐含神经元的三层神经网络具有通近任意函数的能力。所用的算法是标准的BP算法。这个算 法的学习过程，由正向传播和反向传播组成。如图1所示: 在正向传播过程中，输人信息从输人层经隐层逐层处理，并传向输出层。每一层神经元的状态只影 响下一层的神经元的状态。如果在输出层不能得到期望的翰出，则转人反向传播，将误差信号沿原来的 连接通路返回，通过修改各层神经元的权值，使误差信号最小。 在图1所示的多层BP网络中，第一层为输人层，第Q层为输出层，中间各层为隐层。设第4层 (q=1,2...,Q)的神经元个数为n,,输人到第4层的第个‘神经元的连接权系数为w沪 、〔=1,2...n4, J=1,2...n。一1)，则该网络的翰人翰出变换关系为:〕‘: r 式 妇 _艺TR1JA)x}4-1)(xbq-1)=B{Q)，二}8)=一1) ) 1 ( 1=0 X 伪 . =ff{(5:}{4q.i ) 2 ( 1,2...nu;j 1,2...n,_,;4=1,2二Q 设给定尸组输人输出样本xA(0)二 x留...I罗产,dp=一心1心2布]T(p=1,2P·)，拟合误 曲率变化及BP网络结构对于函数通近效果影响的研究 115 r. 岁)一争 翰入层 隐层 软t妇层 计算过程 图1神经网络学习过程 差的代价函数为Ey (心一x留)2oBP网络的学习算法如式((3)一(6)所示’〔{: 一合i}t