传算法优化神经网络拓扑结构与权值.pdfVIP

( ) 第 21 卷　第 1 期 广西师范大学学报 自然科学版 V o l. 21　　 N o. 1 2003 年 3 月 　　　　　　 JOU RNAL O F GUAN GX INORM AL UN IV ER S IT Y 　　　　　　 M arch　2003 遗传算法优化神经网络拓扑结构和权值 魏志成, 杨联祥, 周激流 (河北师范大学 物理学院电子信息组, 河北 石家庄 050016) 摘　要: 采用改进的串行遗传算法以各种变尺度搜索解空间, 可以改变神经元输入和输出的映射关系, 进而改 变整个网络的性能, 在高维解空间中自动寻找合适的解, 并且验证了 Simp lex 的有效性. 关键词: 遗传算法; 神经网络; 遗传算子 中图分类号: T P 183　　　文献标识码:A 　　　文章编号:(2003) 自从1943 年第一个神经网络模型—— 模型被提出至今, 神经网络的发展十分迅速, 在模式识别、 M P 图像处理和工业控制等领域颇有成效. 但是神经网络拓扑结构的设计和权值的学习却一直是困扰着科学研究者的难题. 典型的神经网络结 构设计方法是构造法和删除法. 但是构造法中“评价函数”难于设计; 删除法中删除神经元、删除多余权值 的策略以及惩罚项的形式都是十分难设计的, 另外, 因为一开始要给出一个足够复杂的结构, 这就大大增 加了搜索空间的复杂性, 使学习速度变得更慢, 学习效率变低, 同时对学习算法的要求也就更高. 而 学习 率和BP 算法存在着初始权值对学习有较大影响、容易陷入局部极值和在平坦区搜索速度慢几个缺点. 遗传算法的出现使神经网络的构造和训练有了一个崭新的面貌, 本文用串行遗传算法优化神经网络 [ 1 ] 的拓扑结构和权值. 除了采用选择、交叉和变异算子外, 还采用 Sim p lex 算子 , 另外在编码时还采用 Gr [ 2～ 4 ] ( ) anu larity 粒度 变长度编码, 大大增强了对空间的搜索能力, 同时也增强了算法的智能性和普适性. 1　本文算法 用串行遗传算法优化神经网络, 主要有三方面的困难, 首先是编码策略的确定; 其次是使用什么样的 遗传算子; 第三是适应度函数的设计. 11　编码方法 采用变长度的二进制直接编码. 采用这种编码方法的原因主要有三个: ①二进制编码采用的是最小字 符集{0, 1}; ②二进制编码和直接编码都有利于形成有意义的积木块; ③变长度编码可以缩短码长, 提高编 码效率. 神经元的 传递函数参数为 . 型传递函数的表达式如下: Sigm o id S 1 f (x ) = - x ( 1) 1+ e 当 取不同的值时, 上式的图像如图 1 所示. 从图 1 可以看到, = 0. 5 时函数曲线相当平缓, 而当 = 4 的时 候, 型函数已经比较接近于阶跃函数了, 不同的 值, 反映了神经元 S 的不同传递性质. 12　遗传算子 图 1　 函数在不同