第8章 进化神经网络1.ppt

进化神经网络 内容：遗传算法用于一是：改变神经网络的权重（固定连接神经网络）；二是：改变连接，寻找拓扑（非固定）。 神经网络缺点：不能保证最优，容易陷入 局部最优。 原因：1.训练；2.最佳拓扑 问题：1.如何尽快收敛2.如何保证最优（近乎最优） 进化神经网络 针对神经网络的缺点，采用遗传算法，可以有效的指导权重优化和拓扑选择。（进化的思想，即谓“进化神经网络”） 遗传算法核心思想：通过染色体的遗传，交叉，变异（突变）等操作寻找最优解。 遗传算法步骤： 第一步：将问题域表示成染色体 。这里主要指的是神经网络的权重。例[-1,1] .表示：矩阵、图形、图表等。 染色体权重编码 进化神经网络 第二步：定义适应性函数来评估染色体性能。这里使用的是误差平方和倒数。 第三步：选择遗传操作-交叉和突变。 附加操作：定义种群大小（不同权重的网络数量）；交叉和突变的概率；遗传的代数。 注意：前面是假设的网络结构是固定的，进化学习仅用来“优化”给定的网络权重。而真正的网络架构是通过不断的反复试验决定的。 进化神经网络 进化神经网络 如何寻找最佳的网络架构？ -在可能的架构的种群中进行遗传搜索（Miller ，1989；Schaffer，1992）。 --首先进行的工作：将网络机构编码成染色体的形式。 下图就是采用直接编码的形式，虽然简单受限制，只能表示神经元个数固定的前馈网络，但是它能证明网络的连接拓扑发展情况。 进化神经网络 神经网络的连接拓扑（正方形矩阵表示） 进化神经网络 给定一组训练实例和一个可以代表网络框架的二进制串，一个基本遗传算法步骤： 步骤1：选择染色体种群的大小、交叉和突变的概率，并定义训练的次数。 步骤2：定义适应性函数来度量单个染色体的性能和适应性。 步骤3：随机产生染色体的初始群体。 步骤4：将单个染色体解码成神经网络。 步骤5：重复步骤4，直到群体中所有染色 体全都考虑为止。 进化神经网络 步骤6：选择用于交配的一对染色体，选中的概率和其适应性成正比。 步骤7：用基因的交叉和突变操作创建一对子代染色体。 步骤8：将子代染色体放入新的种群中。 步骤9：重复步骤6，直到新种群和初始一样大小为止，然后取代初始种群。 步骤10：回到步骤4，重复这个过程，直到达到指定的迭代次数为止。 进化神经网络 进化神经网络 除了神经网络训练和拓扑选择外，进化计算还可以用于优化传递函数和选择合适的输入变量等。 潜力的研究领域：从具有复杂或未知函数关系的大量可能的输入变量中找到关键输入。