第7章 智能最优化算法.pptVIP

（2）BP学习算法BP网络的学习训练过程分为两个阶段。第一阶段正向传播。若在输出层得不到希望的结果，则转入第二阶段反向传播，将误差信号沿原来的神经元连接通路返回，通过修改各层神经元的权值，使得误差信号不断减小，最后达到误差允许的范围。 设共有 N 个学习样本： 对应的输出期望值为：若给定网络的所有连接权值的初始值。将第P个样本输入后，网络的输出是将N个样本全部输入，并按式（7-9）作正向传递运算后，网络的总误差为 （7-13）若此误差值大于给定的精度，则要设法改变网络的各个连接权值，以使网络误差减小，并最终满足给定的精度要求。取误差函数的负梯度作为误差函数的调整方向，对于任意权系数 ，权值的调整量和新的权值分别为(7-12) 与期望值相比输出误差为其中n代表修正或调整的次数。这就是BP网络学习训练的基本思想，由此得到的算法称BP算法。 （3）BP 算法的计算公式对输出层的 权值 （7－16） 令（7－18）（7－17）和权值的修正算式得 （7－18） 其中 称等效误差， 为实际误差， 为学习速率，通常取 同理，对于隐含层权值 有 令等效误差多个隐含层BP网络中，其他隐含层的权值修正式可按同样方法推出。综上所述，BP算法的执行步骤如下： 隐含层的权值调整量和权值的修正算式分别为 （7－20）① 给定初始权值矩阵 和阈值向量 为小的随机数向量，给定计算精度 ； ； ② 输入训练样本 和期望输出 ； ③ 对各个样本，按式（7－9）或式（7－10）计算网络隐含层 的状态和输出层的输出； 成立，则网络的学习完成。否则转⑤； ④ 精度判断：若有 ⑤按式(7-17)和式（7-19）计算输出层和隐含层的等效误差、并按式（7-18）和式（7-20）对所有权值进行修正后转③。 综上所述，BP算法 ●是以梯度法寻求误差函数极小化的迭代算法。 ●训练依据是给定的某一过程若干组数据构成的试验样本(x,d) ●训练结果是一组符合该过程运行规律的网络权值W和阈值。 ●有了这一组权值和阈值，就可以方便地模拟和仿真该过程，得到任意一组给定数据所对应的预测结果。Hopfield人工神经网络是一种单层对称全反馈式网络， 7.2.3 Hopfield网络Hopfield网络根据激活函数的不同分离散型网络和连续型网络两种。离散型Hopfield网络是一种反馈型单层二值神经元网络，图7-9 所示为n个神经元组成的Hopfield网络。图7-9 Hopfield 网络 y1(t +1) y2(t +1) yn(t +1) v1(t +1) v2(t +1) vn(t +1) f（） f（） f（） u1( t ) u2( t ) un( t ) x1 x2 xn wn1 w21 w1n w2n -θ2 -θn wn2每个神经元结点的输出为 0 或 1。类似于 MP 神经元，可表示为 （7－24） 若进一步令则这时的权矩阵是一个主对角线元素全部为零的对称矩阵。对应的网络是一种无自反馈的对称型Hopfield网络。 其中 ，即网络是对称的。 * * 第7章 智能最优化算法随着仿生学、遗传学和人工智能科学的发展，从20世纪70年代以来，科学家相继将遗传学、神经网络科学的原理和方法应用到最优化领域，形成了一系列新的最优化方法，如遗传算法、神经网络算法、蚁群算法等。这些算法不需要构造精确的数学搜索方向，不需要进行繁杂的一维搜索，而是通过大量简单的信息传播和演变方法，得到问题的最优解。遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局最优化概率搜索算法。 7.1 遗传算法 7.1.1 生物的遗传与进化生物从其亲代继承特性或形状的现象称为遗传；生物在其延续生存的过程中,逐渐适应生存环境，使其品质不断得到改良，这种生命现象称进化。 构成生物的基本结构和功能单元是细胞 细胞中含有一种微小的丝状化合物称染色体 染色体主要由一种叫做核糖核酸(简称DNA)的物质构成 DNA按一定规则排列的长连称基因 基因是遗传的基本单位另外，在进行细胞复制时，也可能产生某些差错，从而使DNA发生某种变异，产生新的染色体。可见，同源染色体之间的复制、交叉或变异会使基因或染色体发生各种各样的变化，从而，使生物呈现新的性状，产生新的物种。细胞在分裂时，遗传物质DNA通过复制转移到新的细胞中，新细胞就继承了旧细胞的基因。有性生殖生物在繁殖下一代时，两个同源染色体之间通过交叉而重组，即在两个染色体的某一相同位置处DNA被切断，然后分别交叉组合形成两个新的染色体。 7.1.2 基本遗传算法 可以看作由 n 个遗传基因组成的染色体，也称个体。最简单的等位基因由0和1这两个整数组成，相应的染色体或个体就是一个二进制符号串。在遗传算法中，将设计变量 用符号串 表