一种前馈神经网络的新型分层优化算法.pdfVIP

78 信号处理 一种前馈神经网络的新型分层优化算法 张代远 (南京邮电学院计算机科学与技术系，南京210003) C擂要】：本文提出了实三层前馈网络的一种新型学习算法．该算法采用的是分层优化方法，将隐层的非 线性神经元线性化，线性化产生的误差通过罚项而受到限制．分层优化使得每一层权值整体优化，而与另一 层无关，这样使得整个优化过程更为有效。 关t词：分层优化算法，前馈神经网络，线性化误差，罚项． 对于给定的样本对，如何寻求一种前馈网络以实现给定样本对的精确映射(即代价函数等于零)是一个 重要而基本的问题，文献[3][7]彻底解决了这一问题并获得了二些重要定理。文献[3]17]指出：实现精确映 射的充分条件是隐层神经元个数等于样本个数(不考虑输出层阀值)或隐层神经元个数等于样本个数减一(考 虑输出层阈值)．本文研究了当上述充条件不满足时，网络的学习算法。 神经网络的应用是广泛的，如数值逼近，’模式识别n1等．以往人们常采用BP算法训练前馈网络a自 Ru=elhart【6]于1986年使BP算法流传以来，已羟发表了许多改进算法的文章…．这些改进工作在许多情况下 的确可以提高收敛速度，然而，在需要高精度输出的场合，BP及其改进算法仍然太慢并且效果不好”1· 为了减小这些困难，这里给出的算法不再依赖局部梯度下降．新方法的基本思想是对多层前馈网络分层 优化。通过分别对每一层的联结权单独优化，全部学习过程将进行得更加有效．这一方法也可称作分层优化 学习算法。分层优化学习算法将每一层的优化问题简化为线性优化问题，因而可以精确求解。为了限制不可 避免的线性化误差，在代价函数上加上了一十特殊的罚项．隐层与输出层问权值的优化采用Woore-Penrose广 义逆求得，输入层与隐层间的权值采用求解线性方程组求得。然后．各层的权值在迭代过程中交替优化直到 满足一定精度为止。 虽然S．Ergezinger和E．Tomsen曾研究过这一类似方法”】，但由于他们只研究了输出层只有～个神经元 的情形，因而不具备一般性．另外，对于输出层的优化，他们没有采用本文的Moore-Penrose广义逆方法· 因而求出的权值不是最优的．本文克服了s．Ergezinger和＆Tomsen方法的缺点． 应该指出，本文算法适用于实数样本集的训练，对于复数样本集的情况，将另文专门报道． 二、前馈网络的分层优化算法 假设网络的结构为m一，一n，即有一个输入层，卅神经元个；一个隐层，，个神经元{一个输出层，n 个种经元．隐层神经元的变换函数可以是各种非线性函数．如6函数01或Sigmoid函数等等．输出层节点的 变换关系为如下的恒等关系式： f(net)=net (1) 信号处理 P 网络的输入输出映射关系可表示成如下的数学公式 厅 = 坩 X (2) 妇， F 。∑一 t ， ，■ 、 及 力k∑V目^j计=∑～卅∑w_z川，乩2，…，s托2，…，n (3) ，=I ，_1 ＼i=0 ／ 需要最小化的代价函数是均方估计误差；J=击耋喜丢∽)一中’)2 (4) 式中： ∥’=∑～^；9’=V}^‘’’ (6’ 』=l 如果采用即算法，那么，莱一层的权值将彼此独立地按照每个权值的偏导数变化。误差将由输出层向输 入层反向传播，所