前馈神经网络的一种梯度-牛顿耦合学习算法.pdfVIP

弓多 J 1p I ‘’ 前馈神经网络的一种梯度一牛顿耦合学习算法① 粱久祯 黄德双 何新贵 北京航空航天大学计算机蓉，100083北京_系筑工程研克所，100101 ■一，本文提出前愤神经网络的一种梯庹一牛顿藕音学习算法．利用梯度算法在网络学习 韧始阶段误差蔷鼓下降速度快而牛顿法在学习后期收敛率高且具有二骱收敛速度的优点，充分发 挥两种算法各自的特长和能弥补牛顿法在网络学习初始阶段对学习初位的敏痔性和梯度算法在学 习话期的震蔼现IL等不足．我们给出了学习速度参数在线优化、带保护的掇牛顿法、梯度一牛顿 竞争法以及梯度一牛顿分段等四种方集．并分析了各自的特点．文中最后籍出了实验实倒，对四 种方案的计算结果做了比较说明． 关■司·前馕神经冈络梯度一牛顿蔫合学习算法 收敛性 一雏擅索 ．1itgl-m1 HumtgOo-小uaug,Hcxin-gui 0f1010 Beij咄蛔m衄ofs姆∞hlgilH痂瞎J feMlcr．．veadneural n曲MIkBy ^bI咖This弹归协w蜘掣C酋Na枷∞-g喇缸cot驴ting珂g口棚for №娥the曲Ⅻ略of性two如础m for擘B蠡幢dl}啊栅 缸虹last four∞ofmalx：di．c line stage m of啪善Weprolxm Ismfing optim疏gpmm一,ets algottlmircmaiveN．cx、iotl出口弛111，∞砷did帽争a击a¨蚰咖1dg鲥帅n andp匝t口adiat-p喇Nc咖 al瞽_th几疆“删y越Ⅱl击龟砷飓Fil甜Mwe季veac帅T口Ⅱn卑‘洲dcm_ldc011獬日1e曲枷山峨m把ql虹 netwod忸Ne,．妇vGm：titmt∞枷19 I娜。岫№df呻喇BUtYl Algofiti-¨,㈣燃on@- 血m晒∞《慨 1．引言 众所周知，多层前啧神经网络具有很强的遏近能力．如1989年HeclⅡN记lsonttli正明了具葡珥 层权值和传递函数为Sigmod形式的BP神经网络可以逼近任何的k可积函数。自∞年代中期以 ①田家自然科学基金(∞705∞1)和国防顼研研基金纳硬目 ·215· 来，特另0是90年代初越来越多的学者对冲经网络的研究产生了极大的兴趣．其中多数人将神经网 络的基本理论应用于自己的研究领域，也有不少的人致力于神经喇络特征性质的研究，为神经网络 的应用开拓更广泛的前景。学习算法是构成神经网络性质不可缺少且是很重要的组成部分。目前对 神经网络学习算法的研究已取得了许多成果，如岫bl啪学习规则，、^触mⅣ．H口盯的Dd协学习规 Ⅲ归，M凼》LMS学习算自刿，BP算法【5，日，以及模拟退火，遗传算法等。另外，也有人将最优 化理论中的许多算法成功地用于神经网络的学习，如牛顿下研法，变尺度法，信赖域法等。但是，