现代优化方法综述(SA-GA-AC).pptVIP

现代优化方法综述 主讲: 王茂芝 副教授 wangmz@cdut.edu.cn 目录 数学建模过程（补充） TSP问题及其求解 蚂蚁算法 遗传算法 模拟退火算法 神经网络方法 0 数学建模过程 读题 分析 建模 求解 后期工作 读题 目标:理清两个问题 已知什么 要我们做什么 分析与建模 第二是分析和解决问题以及数学建模的能力。也就是说，对于一个给定的复杂问题背景，要学会理清两个问题： 一是透过问题背景告诉了我们什么已知信息； 二是要求我们做什么，解决什么问题。 然后紧密联系上面两个问题，实现两个量化： 一是对已知条件的符号化和量化； 二是对需解决问题的转化和量化。 最后，再联系自己对数学知识的把握、对数学建模方法的领悟，借助一系列数学工具（方程、函数、矩阵、向量等）把量化后的符号（变量）沟通起来建立数学模型。 求解与结果分析 软件求解得到初步结果 结果分析 结果的实际解释以及合理性检查 变量(或参数)取值发生变化时对结果的影响(图示说明) 自编程序求解得到更精确和完善的结果 结果分析(同上) 总之,针对各种不同的复杂问题背景,会实现两个转化: 实际问题的数学量化和描述（数学模型的建立） 数学模型求解和求解结果的实际解释和反馈（模型求解和检验） 后期工作 这些工作是重要的,也是容易被大家忽视的 性能分析 参数扰动、初值变化、变量(个数和取值等)改变、算法调整等等的影响分析 模型的改进 根据前面的分析,提出改进方向以及建立更加完善的模型 模型的推广 模型还能应用于哪些范围 算法(求解方法)的推广 1 蚂蚁算法(AC)与TSP问题 见WORD文档 程序演示 问题 2 遗传算法(GA) 遗传算法的5要素 参数编码 初始群体的设计 适应度函数的设计 遗传操作设计 选择、交叉和变异 控制参数设定 主要是指初始群体大小和使用遗传操作的概率 示例 用遗传算法求解f(x)=x2的最大值,x∈ [0,31]. 编码 由于遗传算法不能直接处理解空间的解数据,因此我们必须通过编码将它们表示成遗传空间的基因型串结构数据. 把变量X编码为5位长的二进制无符号整数表示形式 初始群体的生成 初始群体的数目 4个 初始群体的生成方式 随机方式生成 适应度评估检测 遗传算法的搜索进化过程一般不需要外部信息,仅用评估函数值来评估个体或解的优劣,并作为以后遗传操作的基础.评估函数值又称为适应度. 这里,我们利用f(x)=x2来评估群体中的个体. 为了利用适应度函数,要把基因型个体译码成表现型个体,即搜索空间中的解. 选择 选择或复制的目的是为了从当前群体中选出优良的个体,使它们有机会作为父代为下一代繁殖子孙.判断个体优良与否的准则就是各自的适应度值.这符合达尔文的理论. 采用和适应度值成比例的概率方法来进行选择.具体就是首先计算群体中所有个体适应度的总和,再计算每个个体的适应度所占的比例,并以此作为相应的选择概率,由此概率可计算出每个个体被选择的次数. 也可以用赌轮方式来决定. 由此得到的4份复制送到配对库,以备配对繁殖. 交叉 简单的交叉(一点交叉)可分两步进行 首先对配对库中的个体进行随机配对 其次,在配对个体中随机设定交叉处,配对个体彼此交换部分信息. 需要注意的是,交叉操作是遗传算法中最主要的操作. 新旧群体比较:新群体中个体适应度的平均值和最大值都有了明显的提高. 遗传算法能不依靠任何搜索空间的外部知识而仅用适应度函数来指导和优化搜索的方向. 变异 变异操作是按位(bit)进行的,即把某一位的内容进行变异. 一般变异概率都取值很小. 变异操作是十分微妙的操作,它需要和交叉操作妥善配合使用,目的是挖掘群体中个体的多样性,克服有可能限于局部解的弊病. SGA的特点 采用赌轮选择方法 随机配对 采用一点交叉并生成两个子个体 群体内允许相同的个体存在 问题 5个关键环节及参数设定 TSP问题的遗传算法求解 3 模拟退火算法 物理背景 算法描述 注意事项 应用实例 物理背景 在物理学中,对固体物质进行退火处理时,通常先将它加温溶化,使其中的粒子可自由运动,然后随着物质温度的下降,粒子也形成了低能态的晶格.若在凝结点附近的温度下降速度足够慢,则固体物质一定会形成最低能量的基态. 对于组合优化问题来说,它也又类似的过程,也就是说物体中固体物质的退火过程与组合优化问题具有相似性.组合优化问题也是在解空间寻求花费函数最小(或最大)的解. 算法描述 我们将物理学中的退火过程引入神经网络计算中,相应的算法称之为模拟退火算法(simulated annealing:sa). 考察能量函数曲线. 一个比较好的办法是:先让系统剧烈振动,使小球脱离A,然后轻轻摇,使小球逐步到达B,这样就寻找到了能量函数的全局极小值. 模拟退火算法描述 在神经网络系统中,设系统所有可能状态为