最优化方法及应用郭科现代优化算法简介.ppt

第九章 现代优化算法简介;§9.1 模拟退火算法; 一个物体（如金属）的退火过程大体如下：首先对该物体高温加热（熔化），显然物体内原子处于高速运行的高能状态．然而作为一个实际的物理系统，原子的运动又总是趋于最低的能量状态，在退火的初始状态，由于温度较高，物体处于高能状态，随着温度的逐渐降低，物体内部原子运动化学能趋于低能状态，这种由高能向低能逐渐降温的过程称为退火．当温度降至结晶温度后，物体由原子运动变为围绕晶体格点的微小振动，液体凝固成固体，退火过程结束． ; 对于一个优化问题 当我们把目标函数 看成定义在可行集（解空间）上的能量曲面，而整个曲面 凹凸不平，如果让一个光滑圆球在曲面上自由滚动，这个圆球十有八九会滚到最近的凹处停止运动，但该低谷并不一定是最深的一个凹谷，模拟退火方法就类似于沿水平方向给圆球一个水平方向作用力，若作用于小球的作用力足够大且小球所处的低谷并不很深．; 小球受水平力作用会从该低谷流出，落入另一低谷，然后受水平力作用又滚出，如此不断滚动，如果作用小球的水平力掌握得适当，小球很有可能停留在最深的低谷之中，这个最深低谷就是优化问题的全局最优解或接近于全局最优解． 作用于小球上的水平力相应于模拟退火中的温度T，水平作用力减小相应于温度降低，如图9.1所示． ; 以上步骤，称为Metropolis过程．按照一定的退火方案逐渐降低温度，重复Metropolis过程，就构成模拟退火迭代法．当系统的温度足够低时，就认为达到了全局最优解． 在模拟退火算法中，降温的方式对算法有很大的影响．如果温度下降过快，可能会丢失极值点，如果温度下降过慢，算法的收敛速度又大大降低，为了提高模拟退火算法的有效性，许多学者提出了多种退火方案，如 (1) 经典退火方案：降温公式为 ，特点是温度下降很缓慢，因此，算法收敛程度很慢． ; (2) 快速退火方式：降温公式为 ，特点是在高温区温度下降比较快，而在低温区降温的速度较慢．这符合热力学分子运动理论，即分子在高温时，具有较低能量的概率要比在低温时小得多，因此寻优的重点应在低温区，其中参数 可以改善退火曲线的形态． 三、模拟退火马氏链模型 令 为所有状态构成的解空间，又令 由所可得随机序列 若随机序列 满足下式 ; 则模拟退火状态序列 为马氏链．马氏链是一个时间离散，状态离散的时间序列，其特点是具有无后效应．马氏链从某一时刻的某一状态变为另一时刻的另一状态称为状态的转移，而从当前状态经一次转移到下个状态的可能性称为一步转移概率，可记为 . 从当前转态经n步转移到下一状态的概率，可记为 ． 若解空间有限，马氏链称为有限状态马氏链，若 ，马氏链称为时齐的．以下讨论的模拟退火算法算法为有限状态马氏链． ; 由前述模拟退火算法的迭代过程可知，算法是从一个初始状态开始后，前一步状态转移均是在当前状态i的邻域 中随机产生新状态j，然后以一定概率进行接受．可见接受概率仅依赖于新状态和当前状态，并由温度加以控制．因此模拟退火算法算法显然对应一个马氏链．若固定每一温度T，算法均计算马氏链的变化直系平稳分布，然后下降温度，称这种算法为时齐算法．若无需各温度下算法均达到平稳分布，但温度需按一定的速度下降，称这料算法为非时齐或非平稳马氏链算法．; 马氏链可用一个有的图 表示，其中，V为所有状态构成的顶点集， 为边集，其中 是以顶点i为起点的有向线段的终点集合． 记 为由状态i产生j概率，则其中，