带动量项的线性输出BP网络收敛性.pdfVIP

2005年12月 高等学校计算数学学报 第27卷专辑 带动量项的线性输出BP网络收敛性+ 瞌笛 吴微 邵红梅 (大连理工大学应用数学系，大连116023) CONVERGENCE0FBPALGORITHM WITHMoMENTUMFoRNEURAL WITHLINEAROUTPUT Di WuWei Shao Qu Hongmei of University (Dcpt．)。ppl．Math．，DalianTechnology,Dalian116023) AbstractThe ofBP with for momentumneuralnetworks convergencealgorithm with1inear isConsidered．ThemomentumcoelllcientsarechoseninRn output mai2nettoaccelerateandstabilizethe ofthenetwork． adaptive procedure learning andthe weak resultis corresponding proved． convergence wordsBP Key algorithm，momentum，convergence，linearoutput． classifications AMS(2000)subject92820，68Q32，74P05． 中圈法分类号TPl8 1前 言 线性输出的BP神经网络已被成功应用于解决模式分类和函数逼近等问题f1-2]，有关 BP学习算法的收敛性研究可参见文献【3-s]．但是，传统BP算法具有两大缺点；收敛速 度慢和容易陷入局部极小．一种常见的改进策略足在它的杈值更新规则中加入动量项，即 上一步权值改变量的某一倍数，使得当前步的权值改变不仅受到梯度下降方向的影响。 ’ 国家自然科学基金资助项目 投稿日期：2005·10—25． 2005年12月 高等学校计算数学学报 369 而且与前一次的权值改变有关(即惯性作用)．大量的数值实验表明，与传统的BP算法 相比，带动量项的BP算法犹如低通滤波器平滑了权值变化的轨迹，进而达到稳定算法 和加速收敛的耳的．另外，一些文章用类比方法或者概率的方法也给出了带动量项的BP 算法收敛性的近似分析或者说明f3,6．91．本文的主要目的是给出线性输出带动量项的BP 算法的确定性收敛结果以及严格的数学证明． 文章结构如下：在第二部分介绍带动量项的BP算法。用来训练具有一个隐层的线性 输出网络，并讨论算法的收敛性．在第三部分我们给出收敛性的具体证明． 2带动量项的线性输出BP算法及其收敛性 我们来描述线性输出的BP网络的结构．考虑一个三层的网络，输入层、隐层和输 出层单元数分别为lA#u和1．令输入的训练样本为∥∈R‘0=1…．，I，)，相应的期 望输出为OJE置U=1，…，刃．连接输入层和隐层的权矩阵为V=(％)。×