传算法优化神经网络拓扑结构和权值.docVIP

第21卷　第1期2003年3月　　　　　　广西师范大学学报(自然科学版JOU RNAL O F GUAN GX INORM AL UN I V ERS ITY 　　　　　　 V o l .21　　N o.1 M arch 　2003收稿日期:2002204228 作者简介:魏志成(1975—,男,河北石家庄人,硕士研究生;周激流(1963—,男,教授,博士生导师. 遗传算法优化神经网络拓扑结构和权值 魏志成,杨联祥,周激流 (河北师范大学物理学院电子信息组,河北石家庄050016 摘　要:采用改进的串行遗传算法以各种变尺度搜索解空间,可以改变神经元输入和输出的映射关系,进而改变整个网络的性能,在高维解空间中自动寻找合适的解,并且验证了Si m p lex 的有效性.关键词:遗传算法;神经网络;遗传算子 中图分类号:T P 183　　　文献标识码:A 　　　文章编号:100126600(20030120062204 自从1943年第一个神经网络模型——M P 模型被提出至今,神经网络的发展十分迅速,在模式识别、图像处理和工业控制等领域颇有成效. 但是神经网络拓扑结构的设计和权值的学习却一直是困扰着科学研究者的难题.典型的神经网络结构设计方法是构造法和删除法.但是构造法中“评价函数”难于设计;删除法中删除神经元、删除多余权值的策略以及惩罚项的形式都是十分难设计的,另外,因为一开始要给出一个足够复杂的结构,这就大大增加了搜索空间的复杂性,使学习速度变得更慢,学习效率变低,同时对学习算法的要求也就更高.而?学习率和B P 算法存在着初始权值对学习有较大影响、容易陷入局部极值和在平坦区搜索速度慢几个缺点. 遗传算法的出现使神经网络的构造和训练有了一个崭新的面貌,本文用串行遗传算法优化神经网络的拓扑结构和权值.除了采用选择、交叉和变异算子外,还采用Si m p lex 算子[1],另外在编码时还采用Gr 2 anu larity [2~4] (粒度变长度编码,大大增强了对空间的搜索能力,同时也增强了算法的智能性和普适性.1　本文算法 用串行遗传算法优化神经网络,主要有三方面的困难,首先是编码策略的确定;其次是使用什么样的 遗传算子;第三是适应度函数的设计.111　编码方法 采用变长度的二进制直接编码.采用这种编码方法的原因主要有三个:①二进制编码采用的是最小字符集{0,1};②二进制编码和直接编码都有利于形成有意义的积木块;③变长度编码可以缩短码长,提高编码效率. 神经元的Sigm o id 传递函数参数为Κ.S 型传递函数的表达式如下: 图1　Sigmo id 函数在不同Κ下的曲线 f (x = 1 1+e - Κx (1 当Κ取不同的值时,上式的图像如图1所示.从图1可以看到,Κ=0.5时函数曲线相当平缓,而当Κ=4的时 候,S 型函数已经比较接近于阶跃函数了,不同的Κ值,反映了神经元的不同传递性质.112　遗传算子(a 选择算子:本文采用的是两两竞争法[5],而没有采用赌轮法[6] , 原因是赌轮法很容易产生超级个体,使遗传算法收敛于局部最优.本文还采用了最优个体保存策略. (b 交叉算子:本文采用了两种交叉算子.一种是单点交叉,因为采用的是变长度编码,所以交叉前要在Connectivity 域是0的后面随机的补上相应长度的数值域,然后以交叉概率P c 再交叉.另一种是Si m 2 p lex 算子[1] ,Si m p lex 是一个三元算子,其算法如下: ①随机选择三个个体:x 1,x 2和x 3,并按适应度从大到小排列,即 F itness (x 1≥F itness (x 2≥F itness (x 3.②对于个体中的每一位执行步骤③和④. ③如果x 1i =x 2i ,那么x 4i =x 1i .(x 4是产生的新个体④如果x 1i ≠x 2i ,那么x 4i =(negate x 3i .表1是一个应用Si m p lex 算子的例子: 表1　Si m plex 算子应用实例,适应度是相应二进制编码的实数值 个体 编码适应度x 1 1100100100x 2100110177x 3001101026x 4 1 100101101 表2　最佳参数设置 n 225P c 014P m r 0105~012 (c 变异算子:采用多点变异算子,以概率P m 变异,对于编码中不同的位,P m 又可以取不同的值.113　适应度函数 本文的适应度函数是: F itness =1 E (2 其中E 是网络的能量函数: E = 6m 6 k (Y m k -Y ?m k 2 (3 Y m k 和Y ?m k 分别是第m 个训练样本的第k 个输出节点的期望输出和实际输出.114　参数设置 表2是本文经过大量试验得出的参数设置(n 是解群规