曲率变化与BP网络结构对于函数逼近效果影响的研究.pdfVIP

曲率变化及BP网络结构对于函数 逼近效果影响的研究 高海燕 薄亚明 刘国栋 (无锡轻工大学信息与控制学院无锡214036) 摘要：本文研究了曲率变化不同的曲线BP网络结构对于函数逼近效果的影响，最后得出了 结论。 关t词：BP网络．BP算法。神烃网络，网络结构 1引言 BP(Back Propagation)网络是目前应用最为广泛的神经网络之一。尽管其训练算法——BP算法已 成功应用于许多实际问题，但是BP算法易陷于局部极小值，收敛速度慢，并且需事先确定网络结构(隐 层效和每层节点数)。神经网络结构是影响网络性能的重要因素之一。只要有足够多的隐层和隐节点， BP网络可以逼近任意的非线性函数。如果BP网络规模过大．它能很好学习训练样本，输出误差小，但 是网络对于权值的过拟合会造成网络容错能力的下降；如果BP网络规模过小，它具有较好的泛化能 力．但是学习过程可能不收敛…2。对于BP网络的结构，许多学者进行了创造性的研究。但是对于曲率 变化不同的曲线，研究BP网络结构对函数逼近效果的影响，作者尚未查阅到相关文献。本文试图在这 一方面作出尝试。 2 BP网络结构与BP算法 BP网络一般由充分连接的三层以上的单元组成。前一层的每一单元的输出都与后一层单元的输 人相连接，层中的单元间没有连接。网络不仅有输入层节点、输出层节点，而且还有隐层节点(可以是一 层或多层)。对于输入信号，要先向前传播到隐节点，经过作用函数后，再把隐节点的输出信息传播到输 出节点，最后给出输出结果。节点的作用函数通常选取s型函数：，(s)=_i!==。理论上现已证明具 r i1_e 有s型隐含神经元的三层神经网络具有逼近任意函数的自B力。所用的算法是标准的BP算法。这个算 法的学习过程，由正向传播和反向传播组成。如图1所示： 在正向传播过程中，输入信息从输人层经隐层逐层处理，并传向输出层。每一层神经元的状态只影 响下一层的神经元的状态。如果在输出层不自B得到期望的输出，则转入反向传播，将误差信号沿原来的 连接通路返回，通过修改各层神经元的权值，使误差信号最小。 在图1所示的多层BP网络中，第一层为输入层，第Q层为输出层，中间各层为隐层。设第q层 (q=1，2…，Q)的神经元个数为‰，输入到第q层的第i个神经元的连接权系数为W铲’(i=1，2…‰， j=1，2…n。】)，则该网络的输人输出变换关系为-lJ： ，…：芝蝴％∥’ (。一)=d∽。妒：一1) (1) J=D zl此巾l吖2 (2) i知 {=1，2…nq；J=1，2…n口一1；q=l，2…Q 曲率变化及竺里竺苎塑翌!苎塾兰兰苎墨竺堕竺竺兰———————二三三一 ～——————————一——————————————————————————————一 ，～ 输入屠 隐层 辅出层 计算过稃 图1神经网络学习过崔 差的代价函数为Ep={墨(d∥一z窖’)2。BP网络的学习算法如式(3)～(6)所示” (3) w!f(k+1)=w铲’(^)+∞铲’(^+1)·ao D轺’=∑d臼k蟹。1’ (4)