[工学]第六章 现代最优化方法.pptVIP

研究生课程《工程数学》之“最优化方法”; 现代优化算法包括随机试验法、禁忌搜索算法、模拟退火算法、遗传算法、神经网络算法和拉格朗日松弛算法等，这些算法涉及生物进化、人工智能、数学和物理科学、神经系统和统计力学等概念。都是以一定的直观基础而构造的算法，通常称之为启发式算法。 启发式算法的兴起与计算复杂性理论的形成有密切的联系。 1. 对目标函数和约束函数不必附加可解析性条件，对于目标函数而言甚至可以不要求有显示表达式； 2. 对于约束变量可以去离???值或特殊整数如0和1等； 3. 在通常情况下，这些算法能够求解全局最优解。;第一节 随 机 试 验 法 ;一、基本思想 禁忌搜索法(Tabu search)是一种人工智能方法，是局部邻域搜索算法的推广，是人工智能在组合优化中的一个成功应用。 其基本思想是：标记已经得到的局部最优解，并在进一步的迭代中避开这些局部最优解。所谓的禁忌就是禁止重复前面的工作，为了避开局部邻域搜索陷入局部最优，禁忌搜索算法设计了一种禁忌表，记录已达到过的局部最优点。在下一次的搜索中，就利用禁忌表中的信息，不再或者有选择地搜索这些点，以此跳出局部最优点。;1. 算法的提出 模拟退火算法最早的思想由Metropolis等（1953）提出，1983年Kirkpatrick等将其应用于组合优化。 2. 算法的目的 解决NP复杂性问题； 克服优化过程陷入局部极小； 克服初值依赖性。;3.物理退火过程 什么是退火? 退火是指将固体加热到足够高的温度，使分子呈随机排列状态，然后逐步降温使之冷却，最后分子以低能状态排列，固体达到某种稳定状态。 ;物理退火过程 加温过程——增强粒子的热运动，消除系统原先可能存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统，系统状态的自发变化总是朝自由能减少的方向进行，当自由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能量逐渐下降，从而得到低能的晶体结构。;4. 数学表述 在温度T，分子停留在状态r满足Boltzmann概率分布;在同一个温度T，选定两个能量E1E2， 在同一个温度，分子停留在能量小的状态的概率比停留在能量大的状态的概率要大。; 若|D|为状态空间D中状态的个数，D0是具有最低能量的状态集合： 当温度很高时，每个状态概率基本相同，接近平均值1/|D|； 状态空间存在超过两个不同能量时，具有最低能量状态的概率超出平均值1/|D| ； 当温度趋于0时，分子停留在最低能量状态的概率趋于1。;Metropolis准则(1953)——以概率接受新状态 固体在恒定温度下达到热平衡的过程可以用Monte Carlo方法(计算机随机模拟方法)加以模拟，虽然该方法简单，但必须大量采样才能得到比较精确的结果，计算量很大。; 在高温下，可接受与当前状态能量差较大的新状态； 在低温下，只接受与当前状态能量差较小的新状态。;5. 相似性比较 ;6. 基本步骤 给定初温t=t0，随机产生初始状态s=s0，令k=0； Repeat Repeat 产生新状态sj=Genete(s)； if min{1,exp[-(C(sj)-C(s))/tk]}=randrom[0,1] s=sj; Until 抽样稳定准则满足； 退温tk+1=update(tk)并令k=k+1； Until 算法终止准则满足； 输出算法搜索结果。;7. 影响优化结果的主要因素分析 给定初温t=t0，随机产生初始状态s=s0，令k=0； Repeat Repeat 产生新状态sj=Genete(s)； if min{1,exp[-(C(sj)-C(s))/tk]}=randrom[0,1] s=sj; Until 抽样稳定准则满足； 退温tk+1=update(tk)并令k=k+1； Until 算法终止准则满足； 输出算法搜索结果。;二、 模拟退火算法的马氏链描述 1.马氏链定义 ; 一步转移概率： n步转移概率： 若解空间有限，称马尔可夫链为有限状态；