前馈网络构造性设计中基于GP实现神经元激活函数类型优化.pdfVIP

维普资讯 Vo1．34 No．6 第34卷第 6期 东南大 学 学报 (自然科学版) 2004年 11月 JOURNALOFSOUTHEAST UNIVERSITY (NaturalScienceEdition) NOV．2004 前馈 网络构造性设计 中基于 GP 实现神经元激活函数类型优化 李 建 刘红星 王仲宇 (南京大学 电子科学与工程系 ，南京 210093) 摘要 ：讨论 了在前馈网络构造性设计中如何基于遗传编程(GP)实现神经元激活函数类型 自动 优化的问题．首先，提出了典型前馈网络的一种构造性设计方法框架，将整个网络 的设计分解为 单个神经元的逐个设计；然后，在此框架下提 出了基于 GP的单个神经元的设计方法，该方法可 实现对激活函数类型的优化．仿真实验显示，本文的前馈网络构造性设计方案是可行的，与其他 几种不优化激活函数类型的网络设计方法相比，本方法更有效，能用较小的网络规模获得更满意 的泛化特性． 关键词 ：神经网络；构造性设计；遗传编程；神经元激活函数 中图分类号：TP183 文献标识码：A 文章编号：1001—0505(2004)06-0746-05 Optimizingneuronalactivation function types basedon GP inconstructiveFNN design LiJian LiuHongxing W angZhongyu (DepartmentofElectronicScienceandEngineering，NnajingUniversity，Nnajing210093，China) Abstract：Aimingattypicalfeedforward neuralnetworks(FNN)，aconstructiveFNN designing algorithm wiht the auto-optimization ofneuronalactivation function ytpes based on genetic programming(GP)isinvestigated．First，aflameoftheconstructiveFNNdesignisgiven，inwhichthe designofthewh oleFNN breaksdowntothedesignofsingleneuronsonebyone．Then，basedonGP thedesignalgorihtm ofsingleneuron．whichrealizesthe auto-optimi zation ofneuronalactivation ufnctiontypes，isproposed．Finally，withmanyufnctionapproxima tionexperiments，itisshown that theproposed constructive FNN design scheme iS feasible．Compared wi th some otherdesigning algorihtmswithoutactivationufnctionytpeoptimization，itismoreeffective，beingabletoachieve betterFNN generalizationwiht sma llernewt ork size． Keywords：neuralnetworks；constructivealgorithms；geneticprogramming；neuronalactivation function 目前