一种改进的进化神经网络优化设计方法.pdfVIP

2010正9月 郑州大学学报(工学版) Sep． 2010 第31卷第5期 JournalofZhengzhouUniversity(EngineeringScience) V01．3lNo．5 文章编号：1671—6833(2010)05—0116一05 一种改进的进化神经网络优化设计方法 杨华芬1，杨 有2，尚 晋3 (1．曲靖师范学院计算机科学与T程学院，云南曲靖65501l；2．重庆师范大学信息科学与工程学院， 重庆401331；3重庆航天职业技术学院计算机丁程系，重庆400021) 摘要：基于传统遗传算法优化神经网络时存在的“近亲繁殖”、基因编码冗余和难以确定隐节点数等 问题。提出改进的进化神经网络优化设计方法．通过对网络编码形式的规范，使得基因编码与功能等价 类一一对应。从而降低编码冗余；通过节点相关性评价，使得低于某阈值的节点在交叉操作时被排除，从 而降低节点冗余；通过把交叉变异概率与种群个体适应度比例相联系，提出自适应交叉变异概率，较好 保持种群多样性．仿真实验表明，本方法可以避免“近亲繁殖”以及由此导致的“种群早熟”，降低编码冗 余，减少学习参数，提高学习效率． 关键词：神经网络；遗传算法；基因编码；交叉概率；变异概率；节点相关性 中图分类号：TPl83 文献标识码：A 冗余；最后，在遗传操作时采用基于自适应交叉概 0 引言 率和变异概率相结合的自适应进化方法，以保证 目前，神经网络已在系统辨识、模式识别、自 种群多样性和算法收敛性．改进的网络优化设计 动控制等领域广泛应用．很多学者用遗传算法优 方法用于棉花耗水量预测和番茄常见病害诊断， 化神经网络，但是存在编码冗余、难以平衡选择压 验证了改进方法的有效性． 力和难以保持种群多样性等问题．在编码冗余方 1 神经网络的优化设计 面，文献[1—2]提出一种基于神经网络进化算法 的混合系统，但没有考虑冗余的隐节点会增加计 在用遗传算法优化神经网络时，需要对网络 算量，降低学习速度．文献[3]解决种群早熟问题 进行基因编码．一个具体的权重集合，对应着多个 但存在编码冗余问题．在选择压力方面，选择压力 功能相同而编码不同的网络．如果两个功能相同 越大，容易导致“早熟收敛”H。。．在种群多样性 的个体进行交叉，则导致“近亲繁殖”．隐节点的 方面，“早熟收敛”的本质特征是群多样性较 个数与网络的泛化能力和参数密切相关；自适应 差¨1．文献[7]提出自适应交叉变异概率，但不能交叉变异概率可以较好平衡选择压力和种群多样 清楚反映种群中当前适应度最大的那些个体之间 性． 的趋同程度．文献[8]通过多次实验确定隐节点 1，1 改进的基因编码 个数，该方法效率比较低．文献[9]将BP网络与 用遗传算法优化设计神经网络时，“近亲繁 遗传算法相结合提出了一种混合评价算法，但对 殖”是必须考虑的问题．以双曲正切函数th(：)= 冗余隐节点影响网络进化速度考虑不够． (e。一e1)／(e‘+e“)作为传递函数的三层网络 针对上述问题，笔者提出改进的进化神经网 为例，输入向量为x，输出向量为一，则有： 络优化设计方法．首先，通过节点的相关性评价， 一=th(／-／th(MX))．(1) 删除网络内冗余的隐节点；其次，将每一个网络的 式中：肼是输入层到隐层的权重矩阵；日是隐层 编码转换成规范形式，这意味着在每一个功能等 到输出层的权重矩阵；th是对称奇函数，用作传 价类里，它们都有唯一的表示形式，从而降低编码 递函数时，可以产生结构不同，但输入输出相同的 收稿