广义同余神经网络及BP神经网络比较研究.docVIP

广义同余神经网络及BP神经网络比较研究 　　摘要:从神经网络的结构#65380;激励函数#65380;权值调整算法等方面对三种广义同余神经网络(generalized congruence neural network，GCNN)及传统BP神经网络(back propagation neural network，BPNN)的异同点进行了比较和研究。通过对正弦函数的逼近性能比较，表明最新改进的第三种GCNN既继承了前两种GCNN收敛速度快的优点，又具有传统BPNN稳定性好的优点;既克服了前两种GCNN不稳定性的缺点，又克服了传统BPNN收敛速度慢的缺点。采用分段线性激励函数有利于GCNN的推广应用。 　　关键词:神经网络; 广义同余; 反向传播 　　中图分类号:TP11文献标志码:A 　　文章编号:1001－3695(2008)02－0408－03 　　 　　0引言 　　 　　传统的BP神经网络采用指数型Sigmoid激励函数，因此收敛速度慢#65380;学习时间长[1]。文献[1~3]于1998年提出了一种广义同余神经网络，其主要特点就是用广义同余函数代替传统神经网络的激励函数，加快神经网络的收敛速度。本文称之为第一种广义同余神经网络(GCNN1)。但是GCNN1的同余函数为锯齿形，具有明显的跃变，一旦神经网络的节点输入落入跃变点，就会有明显的振荡，这种振荡会周期性地发生，最终可能导致网络不收敛;而且GCNN1反向分配误差调整权值的算法，使权值的变动范围无法控制，也可能导致网络不收敛。文献[4]于2001年提出一种改进的广义同余神经网络，本文称之为第二种广义同余神经网络(GCNN2)。GCNN2采用等腰三角函数替代锯齿形函数，消除了跃变点，保证了同余变化过程的连续性;其反向分配误差调整权值的过程采取了求模运算，虽然控制了权值改变量的边界范围，但是没能从根本上改变反向分配误差的缺陷，同样可能导致网络振荡不收敛。 　　如何克服GCNN1和GCNN2的不稳定性成为研究的必要。当把分段广义求导#65380;参照传统BP算法[5，6]的误差求导反传调整权值的原理引入广义同余神经网络，对广义同余神经网络进行改进，得到第三种广义同余神经网络(GCNN3或者BPGCNN[7])。 　　通过正弦函数的逼近仿真，本文分析比较了三种广义同余神经网络和BP神经网络的性能:GCNN1和GCNN2表现出明显的不稳定性;GCNN3的稳定性能和逼近效果等可与BPNN媲美，而且前者的收敛速度要比后者快得多。 　　 　　1三种广义同余神经网络及BPNN的异同点 　　 　　1.1神经网络结构的比较 　　由文献[1~4]可知，三层GCNN1和GCNN2的隐含层节点和输出层节点都有模数，确定输出层节点模数时要使其大于神经网络的所有期望输出。其网络结构如图1(a)所示。三层GCNN3只有隐含层节点有模数，输出层节点为线性求和器。在神经网络所有期望输出无法预知的情况下，线性求和器避免了考虑输出节点模数取值问题。其网络结构如图1(b)所示。仅从网络结构来看，GCNN1和GCNN2是相同的;GCNN3的输出层与GCNN1和GCNN2不同，而输入层和隐含层三者相同;GCNN3的输入层和输出层与BPNN相同，而隐含层不同，如图1(c)所示。 　　在图1中，只画了一个输出节点。其中:a??1，a??2，…，a??l和o分别为神经网络的输入和输出;w??ji和u??j分别为隐含层第j个节点与输入层第i个节点之间以及与输出节点之间的连接权值;x??j和x??o分别为隐含层第j个节点和输出节点的输入;m??j和g??j分别为GCNN1#65380;GCNN2隐含层第j个节点的模数和激励函数;m??o和g??o为GCNN1#65380;GCNN2输出层节点的模数和激励函数;L(?)为GCNN3#65380;BPNN输出层节点的线性求和器;S(?)为BPNN隐含层节点的激励函数;i=1，2，…，I; j=1，2，…，J。 　　1.2激励函数的比较 　　设m为模数，一般取正;x为神经网络隐含层节点的输入;g为节点的输出。令n=?Tx/m#65379;为x除以m后的值向靠近0方向取整，且g与n的符号均与x保持一致。k≡n mod 2为整数n模2的结果，即k∈{-1，0，1}。G mod运算优于加减运算。 　　由文献[1~3]可知，GCNN1的隐含层和输出层激励函数如图2(a)所示，表达式为 　　 　　若把g和g′换成式(4)的S及其导数S′，该算法即为BPNN的误差求导反传算法。 　　为什么在区间拐点x=nm(n∈Z且n≠0)处，导数定义为0?从生物神经网络的角度解释为:当g′??j=0时，Δw??ji=dαu??jg′??ja??i=0，w??ji