MATLAB神经网络应用设计12解读.pptVIP

12 遗传神经网络 本章要点 ? 遗传算法的概念 ? 遗传算法优化神经网络的过程 ? 遗传神经网络设计的基本方法及设计实例 12.1 遗传算法的概念 遗传算法 (Genetic Algorithm, GA) 是一种基于自然 选择和基因遗传学原理的优化搜索方法。它将“优胜 劣态，适者生存”的生物进化原理引入待优化参数形 成的编码串群体中，按照一定的适配值函数及一系列 遗传操作对各个体进行筛选，从而使适配值高的个体 被保留下来，组成新的群体，新群体包含上一代的大 量信息，并且引入了新的优于上一代的个体。这样周 而复始，群体中各个体的适应度不断提高，直至满足 一定的条件为止。 基本遗传算法大都包含如下四个操作： 编码、选 择、交叉和变异。 12.2 遗传算法优化神经网络 ? 遗传算法编码 1. 网络拓扑结构编码 （１）二进制编码 网络拓扑结构的二进制编码图： 码串共分为 3 个部分，码串 表示隐含层数，其中， 的值为 1 或 0 ， ，码串表示第一层隐含层 L b 1 2 1 2 1 , 0 2 , 0 L b b b b ì ? = ? = í ? 1 ? ? 12.2 遗传算法优化神经网络 节点数，码串表示第二层隐含层节点数，有 如下计算 关系： 其中， 表示隐含层节点数编码的长度， 其值视具体 问题而定。 j 12.2 遗传算法优化神经网络 （２）整数编码 整数编码就是将隐含层数编码 ，隐含层节点数 编码 、 分别用某一范围内的整数来表示。也就是 说 取整数值 1 或 2 ，整数 、 的取值范围视具体 问题而定。 GA 优化 NN 结构的算法步骤如下： 1 ）设定网络隐含层数，以及每层节点数的范围，将隐 含层个数、第一层、第二层等的节点数采用实数分别 进行编码，随机产生 个这样编码的染色体。将 个染色体分别解码成相应的网络； L 1 l 2 l L 1 l 2 l N N 12.2 遗传算法优化神经网络 2 ）利用多种不同的初始连接权值分别对每个网络进行训 练； 3 ）计算在每个对应码链下神经网络的误差函数 , 利用误差 函数或其他策略 ( 如网络的泛化能力或结构复杂度 ) 确定 每个个体的适应度函数； 4 ）选择若干适应度函数值最大的个体构成父本； 5 ）利用交叉 , 变异等遗传操作算子对当前一代群体进行处 理 , 产生新一代群体； 6 ）重复上述 2 ） -5 ）步骤 , 直到群体中的某个个体 ( 对应一 个网络结构 ) 能满足要求为止。 12.2 遗传算法优化神经网络 2. 网络参数编码 以 BP 神经网络为例。设其隐含层传递函数为 Sigmoid 函数： 。则 为形状参数， 设 分别表示第一层与第二层，第二层与第三层， 第三层与第四层节点的连接权值，设 分别为隐含 层第一层和第二层节点以及输出层节点的阈值。 1 ( ) 2 , 0 (1 ) x x e f x e b b b b - - - = + b 1 2 3 , , W W W 1 2 4 , , B B B 12.2 遗传算法优化神经网络 （１）二进制编码 网络参数的二进制编码图： 其中， 1 2 3 , , n n n 分别等于输入层节点数与第一隐含层节点数 的乘积，第一隐含层节点数与第二隐含层节点数的乘积以 及第二隐含层节点数与输出层节点数的乘积； 4 5 6 , , n n n 分别 等于第一隐含层，第二隐含层以及输出层的节点数，则该 码串的长度为： 1 2 3 4 5 6 1 8( ) C n n n n n n = + + + + + + 。 12.2 遗传算法优化神经网络 （２）实数编码 网络参数的实数编码图： 其中， 1 2 3 1 2 4 , , , , , , w w w b b b a 鬃 鬃 鬃 分别为 b ， 1 2 3 , , W W W ， 1 2 4 , , B B B 取值范 围内的一实数。 12.2 遗传算法优化神经网络 实数编码 GA 优化 NN 结构和参数的算法步骤如 下 : 1 ）给定网络的输入、输出样本集； ２）对网络的参数进行编码构成染色体； ３）选择遗传操作，选择，交叉和变异及其运行参数； ４）设定种群规模并随机产生个染色体； ５）由输入样本经网络传输产生对应于个染色体的网 络输出； ６）根据选择的适应度函数计算方式来计算每个染色体 的适应度； ７）依据适应度在遗传空间进行选择操作； ８）进行交叉、变异操作产生新一代群体； ９）返回步骤 5 ），直到满足性能要求，最后获得网络 的参数。 12.2 遗传算法优化神经网络 遗传操作 在各种选择方法中除了排挤方法以外，其它选择 方法对于实数编码 GA 都是适用的。如适应度比例方法、 最佳个体保存方法等。实数编码 GA 通常采用