第十章GA应用.pptVIP

GA应用（1） 一、GA优化NN Case 1: Use GA to learn weights Case 2: GA learns network structure，即神 经元数和连接状况 Case 3: GA learns weights and network structure Case1Use GA to learn weights（给定结构） define a fitness function 直接采用 sum of squared errors. 要转换为最大化函数 评估过程：对每个解进行样本测试（前向计算），计算其实际输出和期望输出的误差（适应度）。如果有一个个体的适应度满足精度要求，则结束 具体算法如下： 1.随机产生一个具有N个个体的初始群体； 2.计算每个个体的适应值，如果有一个个体的适应度满足精度要求，则结束，否则进行下一步； 3.按适应度比例挑选出父本群体； 4.对父本群体进行杂交、变异操作得到新的群体； 5. Go to 2 BP算法和GA算法结合 GA擅长全局优化搜索，BP擅长局部优化搜索；两者结合，可提高收敛速度。克服GA过早收敛的问题 Method 1 for combination ?Use GA first to find the rough position of the global optimal solution, and then use BP to refine Method 2 for combination ?Use GA to find the structure, and use BP to find the weights ?This is one way for obtaining both structure and weights ?The key problem is how to evaluate the structure ?The fitness of a structure depends on the initial weights as well as the learning algorithm Method 3 for combination Use GA and BP alternatively Step 1: Use GA first to find a good starting point Step 2: Use BP to find a local solution Step 3: If the solution is not good enough, return to Step 1 具体算法如下： 1.随机产生一个具有N个个体的初始群体； 2.计算每个个体的适应值，如果有一个个体的适应度满足精度要求，则结束，否则进行下一步； 3.按适应度比例挑选出父本群体； 4.对父本群体进行杂交、变异操作得到新的群体； 5.找出当前群体中适应度最大的个体best； 6.对best用BP进行一到二次学习，得best’； 7.用best’替代best，转向2； Case 2: GA learns network structure(神经元数和连接状况) 编码 NN的连接拓扑可以用一个连接矩阵表示 矩阵中的每个元素若为0，则表示相应的神经元之间无连接；若为1，表示有连接。 按行排列形成一个染色体 Case 3: GA learns weights and network structure 背包问题(Knapsack Problem) 问题描述 0/1背包问题：已知n个尺寸分别为 的物体和容量为C的背包。此处， 和C都为整数。要求找出n个物体的一个子集使其尽可能地填满容量为C的背包： 最大化： 且需满足： n objects, each with a weight wi 0 a profit pi 0 capacity of knapsack: M Multi Objective optimization by GA (MOGA) Multi objective optimization problems 实际应用中，系统要优化的目标往往不止一个而是多个。如在生产管理中，通常要求系统的质量好、产量高、成本低、周期短等项指标。这些往往相互抵触，其中一个指标最优，不能保证其它指标