2014模拟退火法知识讲稿.ppt

* 由于这些算法都有着很深的理论背景，因此， * * 由于这些算法都有着很深的理论背景，因此， * 结论：当温度降至很低时，材料会以很大概率（1）进入最小能量状态。即只能接受使能量函数下降的状态。 * 由于这些算法都有着很深的理论背景，因此， * * 由于这些算法都有着很深的理论背景，因此， * 由于这些算法都有着很深的理论背景，因此， 从算法流程上看，模拟退火算法包括三函数两准则，即：状态（解）产生函数、状态接受函数、温度更新函数、内循环终止准则和外循环终止准则，这些环节的设计将决定模拟退火算法的优化性能。此外，初温的选择对模拟退火算法性能也有很大影响。 * * 由于这些算法都有着很深的理论背景，因此， * 只要状态接受函数满足以上三个规则，那么它的具体形式对于SA算法的收敛性影响不大。 * 降温方式对于算法有很大的影响，如果温度下降过快，可能会丢失很多极值点；如果温度下降过慢，算法的收敛速度又大大降低。最后这个公式的特点是：在高温区，温度下降是比在低温区的速率更快的。这符合热力学分子运动理论中，粒子在高温时，具有较低能量的概率要比在低温时小得多，因此寻优的重点应该在低温区。 * 算法的应用实例 巡航问题： 已知敌方100 个目标的经度、纬度如表所示： 巡航问题： 已知敌方100 个目标的经度、纬度如表所示： 我方有一个基地，经度和纬度为（70,40）。假设我方飞机的速度为1000 公里/小时。我方派一架飞机从基地出发，侦察完敌方所有目标，再返回原来的基地。在敌方每一目标点的侦察时间不计，求该架飞机所花费的时间（假设我方飞机巡航时间可以充分长）。 巡航问题： 问题分析： 编程最容易 大时，广域搜索性能好 小时，局域搜索性能好 理论上停止在最优解上，但实际上很难做到 SA是达优性较差的算法 算法总结 模拟退火：随机迭代、概率寻优、自适应、启发式 主要应用场景：大规模的组合优化问题（选址问题、排班问题、管理调度、路线优化）；不可微、不连续的非线性复杂函数求最值、参数优化等。 优点是局部搜索能力强，运行时间较短；缺点是全局搜索能力差，容易受参数的影响。常用于作为其他算法的局部最优算法出现，总之要结合其他算法使用。 爬山算法：局部择优，简单，效率高，但是处理多约束大规模问题时力不从心，往往不能得到较好的解。 遗传算法：优点是能很好的处理约束，能很好的跳出局部最优，最终得到全局最优解，全局搜索能力强；缺点是收敛较慢，局部搜索能力较弱，运行时间长，且容易受参数的影响。 算法总结 梯度下降-局部优化 * 见右图。局部极小值是C，在点（x0）。 梯度，即导数，但有方向，是一个矢量。曲线情况下，表达式为 f’(x)0，相当于B点；f’(x)0，相当于A点。 * 举例：y=x2/2-2x 计算过程： 任给一个初始出发点，设为x0=-4。 (1) 首先给定两个参数：?=1.5，?=0.01； (2) 计算导数：dy/dx = x-2 (3) 计算当前导数值：y’=-6 (4) 修改当前参数： x0=-4 ? x1= x0 - ?*y’ =-4-1.5*(-6)=5.0; (5) 计算当前导数值：y’=3.0 (6) 修改当前参数： x1=5.0 ? x2=5.0-1.5*(3.0)=0.5; * (7) 计算当前导数值： y’=-1.5 (8) 修改当前参数： x2=0.5?x3=0.5-1.5*(-1.5) =2.75; (9) 计算当前导数值：y’=0.75 (10) 修改当前参数： x3=2.75? x4 = 2.75-1.5*(0.75) =1.625; (11) 计算当前导数值： y’=-0.375 (12) 修改当前参数：x4=1.625? x5 = 1.625-1.5*(-0.375)=2.1875 … * 可见，当?=1.5时，搜索呈现振荡形式，在极值点附近反复搜索。可以证明，当?1.0时，搜索将单调地趋向极值点，不会振荡；当?2.0时，搜索将围绕极值点逐渐发散，不会收敛到极值点。 为了保证收敛，?不应当太大。但如果过小，收敛速度将十分缓慢。可以采用自适应调节?的方法加快收敛而又不至于发散。 ?=0.5 x0=-4;x1=-1;x2=0.5;x3=1.25 ?=2.5 x0=-4;x1=11;x2=-11.5;x3=22.25 梯度下降法是按下面的流程进行的： 1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。 梯度下降 最大似然估计（MLE）和最小均方误差估计（MM