进化神经网络编码方法与应用.docVIP

进化神经网络编码方法与应用 　　摘要：进化神经网络将进化算法与人工神经网络进行了有机结合，进化算法的参与使神经网络系统在进化发育过程中可自适应的进行网络结构与连接权值的调整，改善了神经网络在模拟仿真过程中自主智能化不足的缺陷，提高了神经网络系统的生物真实性。随着研究的深入，大量不同类型的进化神经网络相继出现，根据基因编码方式的不同，可将进化神经网络分为直接编码型和间接编码型两类。本文对神经网络中基因的编码方式进行了阐述分析，最后总结了间接编码方法的应用领域。 　　关键词：进化算法；神经网络；网络结构；间接编码 　　中图分类号：TP183 文献标识码：A DOI：10.3969/j_issn.1003 6970.2016.05.019 　　本文著录格式：赵吉昌等.进化神经网络的编码方法与应用[J].软件，2016，37（5）：77-80 　　引言 　　随着社会的发展和科技的进步，人工智能、智能计算已成为各科研院所和公司的热门研究对象。进化神经网络（Evolutionary Neural Networks）结合了更具生物真实性与可解释性的人工神经网络（Artificial Neural Networks，ANNs）和进化算法（Evolutionary Algorithms，EAs），在生物大脑运作机制的研究和智能化模拟应用方面都有广泛的应用。进化算法是源自于自然界生物进化中选择、交叉及变异等机制的一种拥有高鲁棒性和广泛适用性的全局概率性优化算法。进化算法根据其计算侧重点和最终实现目的的不同可以分为遗传算法、进化规划、进化策略及在遗传算法基础上发展而来遗传规划四种。 　　人工神经网络从信息处理的角度对生物神经网络进行了抽象和模拟，以神经元为基本组成单元，按神经元之间不同的连接方式组成不同结构的网络。1943年由心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出并建立了神经元的第一个数学模型，即MP模型，开创了人工神经网络的研究时代。随后人工神经网络有了进一步发展，感知器（Perceptron）等更加完善的神经网络模型相继被提出。这一时代的神经网络模型称为第一代人工神经网络。经历了一个短暂的低潮之后，1986年Kumelhart等人提出了误差反向传播（Back Propagation）神经网络，简称BP网络，至今依然被广泛使用。这一时代的神经网络模型称为第二代人工神经网络。脉冲神经网络作为第三代人工神经网络，采用了脉冲编码信息的方式，与采用频率编码的第一代感知器模型和第二代BP神经网络相比，更加具有生物可解释性。脉冲神经网络将脉冲发放的时间点加入到神经网络模型中，通过对神经元突触连接权值的调整和脉冲发放时间的精确模拟，并将网络的输出编码成输出脉冲。这种基于脉冲发放时间的神经网络模型，提高了信息维度和模型的计算能力，可以更好地模拟整个网络结构中信息的动态传递过程。 　　进化神经网络通过加入进化算法来设计神经网络模型，在神经网络结构中引入选择、交叉和变异等算子，使得神经网络的自适应性和自主性得到了很大程度的提高，解决了全局搜索易陷入局部最优的难题。进化神经网络根据基因编码方式的不同可分为直接编码方式（Direct Encoding）和间接编码方式（Indirect Encoding）两类。 　　1.进化神经网络的直接编码方法 　　直接编码是将网络结构中所有互联的信息处理单元即神经元或节点进行直接编码，网络中的每个连接由自身的二进制表示直接指定。在遗传算法中，通常采用二进制字符串将连接权值进行直接编码，按照一定的顺序，遍历整个网络结构。在进化神经网络中不再将权值进行二进制转换，而是建立了连接矩阵，如一个N*N的矩阵W=（wii）可以表示一个含有N个神经元的神经网络，其中wii表示神经元i与j之间的连接权值。若w=0则说明两个神经元之间无连接；若w不为零则说明两神经元之间有连接且连接权值w。在进化计算下，这种构造可以使网络结构和连接权值在程序中同步进化。矩阵w与神经元之间存在着一对一的映射关联，若权值w不为零，则将其赋值为l，可得新矩阵c，矩阵c就可通过二进制字符串编码方式来表示结构约束。在前馈网络和递归网络中直接编码网络结构如图1和图2所示。 　　通过图1可以看出，在前馈网络中，由于所有的神经元之间的连接都是由前向后推进的，因此只需考虑提取转换矩阵c的右上三角形区域的二进制字符串进行直接编码。而在其他网络结构中，由于神经元之间存在反馈或随机的连接，如递归网络中的回馈连接和自回馈连接，在进行编码时必须提取整行（列）的二进制字符串来编码，之后将进化算法应用到神经元染色体中来进化其种群。为了评估每个染色体的适应值，需要将神经元连接权值初始化之后再进行训练，训练误差可以作为适应值的权衡。 　　采用直接编码方