多层前传神经网络的随机训练算法.pdfVIP

多层前传神经网络的随机训练算法 姚必正 林瑞桀 孙兴逊 Ij卜海人学自动化学院 200072) 200090)(I：海市延K踏149 (1：海、r凉路2103‘■U／J学院 摘要』每十随机剁线泫，水文抛…r一种针对动态叫络人新的多层前传神终州络的训练鲐：法。 n一1’业对豫动态慎坐朱知的情批下，奉算法能快速准确地把W，变量的作用方向t收敛到伞局最 C优n的特h。 优斛，使叫络达到J7实用水～I。文中以抽提塔为例进行r仿真．结果表I则J’J 关键词 多层前传神绎M络动态网络 随机射线法模拟退火 1引言 多层前馈神经网络通过简单非线性处理单元的复合映射，可获得对任意1F线性映射 练前馈网络的最常H4的学习方法是BP算法，它利川梯度法(最速F降法或』￡挑梯皮法锝)， 通过数值迭代来峒整权值，从而使多层神经网络的输出与删望输出的均方筹达士0极小。然 而，随着神经网络变得复杂确ii)il练数据的增加，BP算法的收敛速度减慢、容易收敛丁j亩 部极小点、数值稳定性差、参数雉丁调祭。另外，BP网络不具器控制系统破基本的动态 特性，每次同传的误筹只与网绍当前的误筹情况有芙，不能反映出一般化网络误筹传插的 动态过程。针对上述问题，本文提出了一种新的针对动态多层神经网络的随机寻-fJCijil．±．J{算 法。 最优化方法主要有梯度浃、模式浃(单纯形浃)和随机寻优浃。梯度浃由]1每步都 要计算目标函数的梯度，计算时问睦；模式法是利tL}j各参数点的目标函数值的比较米确定 寻优方向．冈此目标函数利约束条件无特殊要求，程序较简单，适H性较J“，但随着设计 变封的增多和约束条t-1：的复杂化，其计算效率显著降低，还可能出现多面体降维的退化问 题。这两种方法对’r变量较多、目标函数形态铰复杂的情况(比如有好儿个撤值点)，!I【JJ 收敛都不十分快，此时川随机寻优法较好。 随机射线寻优法是随机试验法与探索法中步K加述法的结合．_L}j随机试验法找方向t 川步K加速法确定前进的步艮，它的效率较高，可以避免局部极小问题，收敛较快。尤其， 当麻J4j_r多层神经网络这种目标面复杂、变姑多的情况r，这一优点更加突出。 2动态多层前馈神经网络 2．1 多层前馈神经网络(FANN)的一般结构与数学描述 JcJ三-前馈神经网络通常是由输入层、输出层车¨若干隐层纠成的，每一层包含若干个 神经元，第K层中第j个科I经元具有IJU输入、输出芙系 ．38． 1t-I y，一e{) j：1．2．…．hG v：=f!【戮?F 膏=，，2， …．硝 2‘h-Ffr 对应神经元冉勺闽值：‰为第k层中神经元的数目：M为总层数。f。。为神经元的传递函数， 通常是一补线性函数，且每层中各神经元都取相同的形式。 为方便起见，把脚值写入连接权中去，令 } e{2w、?HMji一， v＼jHI；F=一1 、 “I…)式可政写成 y；=f；I∑wj；。yi’) j=O．1．…．N6 k=i．2，…．M t2、 代表输入输出之间变换关系的有关信息主要分布往神经元之间的连接强度上，不同