用遗传算法优化网络结构的BP算法及应用.pdfVIP

用遗传算法优化网络结构的BP算法及其应用 张志华郑南宁王天树 (西安交通大学人枧所，710049) 摘要 综含考虑BP网络的几种主要特征因素，即网络的隐层层敬以及隐层的隐单元数、 墓 初始权值、学习参数，统称为网络的结构参数，本文讨论了遗传BP算法的实现：用遗传 算法训练结构参数，权值的学习采用共轭梯度方法．分析了该BP算法性能，文中研究了 两种改进算法．用XOR问题，验证了改进算法的有效性．我们还进一步讨论了算法在江苏 油田“镇四井”岩性识别的实际问题中的应用，结果表明了改进算法是有效的． 关键字：遗传算法，BP网络，网络结构，岩性识别 1．引言 神经网络(NeuralNetwork，简称为NN算法(Genetic 结合近几年来引起广大学者的极大兴趣．遗传神经网络的研究一方面能帮助我们进一步理 解自然界中的自适应处理过程．同时又为我们提供了一条探索更为有效的人工系统的新思 路．遗传神经网络的研究目前主要集中在三个方面：甩遗传算法洲练网络韵连接权；网络 的结构(包括网络的节点数以及它们之间的联接拓扑关系)进化；网络的学习规则(训练 算法以及它们的学习参数，比如BP算法的学习率和动量项因子)的演化． BP网络是目前理论最为成熟，应用最为有效的一种网络模型。从网络构性能分析，一 个网络的信息处理能力与网络的结构、连接权以及学习规则密切相关．因而利用遗传算法 综合演化这三者从理论上来看是有效的．但是实际上(尤其对大型问题)时间代价太大， 是不实用的．本文的思路是只对网络的凡种主要的因素进行综合考虑，并且利用遗传算法 进行寻优．这几种因素为网络的隐层层数和它的隐单元数、初始权值、学习参数(包括学 习率和动量项因子)，统称为网络的结构参数．连接权的学习采用通常的共辍梯度法．许 多研究人员在隐层层数、隐单元数的确定，初始衩值和学习参数的选取方面作了许多工作， 取得了一定的进展．但是这些工作太多只是孤立地考虑一个因素．实际上，这些因素是相 互影响地作用于网络的，比如对于不同的学习参数，相应的隐单元的最佳个数是不同的． 因而综合考虑这些因素，搜寻一个关于这些因素的最佳组合的网络(这可归结为一个多变 量的寻优问题)是必要的．由于遗传算法采用群体搜索及群体中个体之间的信息交换策略， 隐含并行性和对全局信息的有效利用这两大显著特点，它非常适宜于多变量问题的寻优． 同时，由于我们考虑的因素体现遗传神经网络的研究三个方面(结构、连接权，学习规则)， 其中初始权值体现了连接权的遣传学习，因为，目前连接权的遗传训练一个有效的思路是： 先利用遗传算法训练连接权，大致得出一个连接权，把它作为初始权值进人下一轮的共轭 梯度法的训练。 1056 本文的余下部分如下安排：第=节讨论用遗传算法优化BP网络结构的具体算法，针 对存在的问题提出了两种改进算法；第三节讨论改进算法在异或问题和一个仿真的模式判 别问题的试验，而且把它们埔于江苏油田“镇四井”的岩性识别的实际应用中，结果表明 了改进算法有一定的实际应用价值。 2． 用遗传算法优化BP网络的结构 BP网络是一个多层前向网络”1．设网络有m层，如果在输入层加上输入模式P，并 ● 第i个神经元的连接权值为w。．各个神经元的输入与输出关系含上函数是f，则各变量之 闻的关系为 V．。。fCui。)=1／(1+exp(．u，。)) (1) ● u．。=每wuM“1 (2) 误差函数E定义为期望输出与实际输出之差的平方和： E=粤∑(Vj”·yj， (3) 式中yJ是输出单元的期望输出．vj“足实际的输出． 2． 1基于遗传算法训练BP网络结构的一种标准学习算法 用遗传算法优化B