人工智能幻灯片5.pptVIP

第五章 进化算法 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;实数编码遗传算法求函数极大值 求解该问题遗传算法的构造过程： （1）确定决策变量和约束条件； （2）建立优化模型； （3）确定编码方法：用2个实数分别表示两个决策变量，分别将的定义域离散化为从离散点-2.048到离散点2.048的Size个实数。;（4）确定个体评价方法： 个体的适应度直接取为对应的目标函数值，即 选个体适应度的倒数作为目标函数 ;（5）设计遗传算子：选择运算使用比例选择算子，交叉运算使用单点交叉算子，变异运算使用基本位变异算子。 （6）确定遗传算法的运行参数：群体大小M=500，终止进化代数G=200，交叉概率Pc=0.90，采用自适应变异概率 即变异概率与适应度有关，适应度越小，变异概率越大。 ; 上述六个步骤构成了用于求函数Rosenbrock极大值的优化计算的实数编码遗传算法。 十进制编码求函数Rosenbrock极大值。仿真程序见chap10_2.m。 仿真程序经过200步迭代，最佳样本为 即当 ， 时，函数具有极大值，极大值为3880.3。 ;5.7 遗传算法在神经网络设计中的应用 神经网络存在如局部极小问题、结构设计问题、实时性差问题等。将GA与ANN常用3种结合方式。 (1)网络权值的进化。进化过程中，网络层数、节点数及连接方式等固定不变。因此，遗传算法只被用作训练神经网络的一种学习算法。 (2)网络结构的进化。用于神经网络的拓扑结构设计。网络的连接方式编码有两种策略：将网络的所有连接方式都明确地表示出来称为直接编码，只表示连接方式中的一些重要特征称为间接编码。;在进化中，需要ANN学习算法(如BP)来训练网络的权值以评估每种网络结构的适应度。该方法编码长度较小，但每一代种群个体都要进行一次完整的网络训练，计算开销大。通常父代网络和子代网络在结构上的差别很小，无须从头训练。因此，可用同时进化网络的结构和权值，得到的网络一般隐节点较多。 (3)学习规则的进化。网络确定后学习算法也就确定了。但学习算法中尚有一些参数需要优化，而使用者往往没有如何合理设置参数的知识和经验。在这种情况下，可应用遗传算法来进化学习规则中的参数以及神经网络的评价函数。;5.7.1 遗传算法权值优化 将神经网络中所有权值编码成二进制码串或实数码串表示的个体，随机生成这些码串的初始群体，即可进行遗传算法优化计算。每一代计算后，将码串解码为权值构成新的神经网络，通过对所有训练样本进行计算得到神经网络输出的均方误差从而确定每个个体的适应度。经过若干代计算，神经网络将进化到误差全局最小。具体过程如下： (1)采用某种方案对每个权值进行编码，随机产生一组权值编码； (2)计算神经网络的误差函数，确定其适应度的函数值，误差值越大，适配值越小；; (3)选择若干适配值大的个体直接遗传给下一代，其余按适配值确定的概率遗传； (4)利用交叉、变异等操作处理当前种群，产生下一代种群； (5)重复(2)～(4)，直到取得满意解。 若网络的权值在某一预先确定的范围内变化，则各权值的二进制码串与权值之间有以下对应关系 式中，Binreplace(t)~由l位字符串表示的二进制整数,[Wmax(i,j)，Wmin(i,j]为各权值的取值范围。二进制编码优点:简单通用;缺点:不直观、精度有限。;实数编码优点：表达直观，不会出现因精度不高而导???训练失败的情况；缺点：不能利用已有的遗传操作算子，需要设计专门的遗传算子。 ; 5.7.2 神经网络的结构优化 将神经网络的结构模式编码成码串表示的个体，因此遗传算法搜索的空间较小，但对于遗传算法选择的每个神经网络，都必须用传统方法进行训练以确定网络的权值。也有人将以上两种方法结合起来，用遗传算法同时优化神经网络的权值和结构。网络结构优化步骤如下： (1)随机产生n个结构，对每个结构进行编码，每个编码个体表示一个网络结构； (2)用多种不同的初始权值对种群中的结构进行训练；; (3)根据训练结果或其他策略确定每个个体的适应度； (4)选择若干适应度高的个体直接进入下一代，其余按适配值确定的概率遗传； (5)对当前种群进行交叉和变异等遗传操作，产生下一代种群； (6)重复(1)～(5)，直到当前种群中的某个个体对应的网络结构满足要求。 根据编码涉及的结构信息的多少，分为直接编码和间接编码