现代(智能)优化算法.pdf

现代优化算法 现代优化算法 禁忌搜索算法 特点： 模拟退火算法 遗传算法 • 基于客观世界中的一些自然现象； 人工神经网络 蚁群算法 • 建立在计算机迭代计算的基础上； 粒子群算法 • 具有普适性，可解决实际应用问题。 混合算法 …………… 最优化理论的三大非经典算法: 模拟退火法(SA)、遗传算法(GA)、神经网络(NN) 近几年的赛题越来越复杂，很多问题没有什么很好的模型可以借鉴， 于是这三类算法很多时候可以派上用场。 97年A 题用模拟退火算法 00年B 题用神经网络分类算法 01年B 题这种难题也可以使用神经网络 美国89年A 题也和BP(Error Back Propagation) 算法有关系 美国03年B 题伽马刀问题也是目前研究的课题，目前算法最佳的是遗传算法。 最优化问题(Optimization Problem) 最优化问题: Minimize f (x)  f (x , x , , x ) 1 2 n subject to x  (x , x , , x ) S  X 1 2 n 组合优化问题(Combinatorial Optimization Problem ) : 最优化问题中的解空间X或S由离散集合构成。其中很多问题是NP 完全 (Nondeterministic Polynomial Completeness)问题. 经典优化方法 待解决的问题 连续性问题，以微积分为基础，规模较小 传统的优化方法 理论上的准确与完美，主要方法：线性与非线性规划、动态 规划、多目标规划、整数规划等；排队论、库存论、对策论、 决策论等。 传统的评价方法 算法收敛性、收敛速度 现代优化方法 待解决的问题 离散性、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm ） 追求满意（近似解） 实用性强（解决实际工程问题） 现代的评价方法 算法复杂性 现代优化算法 现代优化算法又称智能优化算法或现代启发式算法，是一种具 有全局优化性能、通用性强、且适合于并行处理的算法。这种算法 一般具有严密的理论依据,而不是单纯凭借专家经验，理论上可以 在一定的时间内找到最优解或近似最优解。 它们的共同特点：都是从任一解出发，按照某种机制, 以一定的概率在整个求解空间中探索最优解。由于它们可以 把搜索空间扩展到整个问题空间，因而具有全局优化性能。 全局优化 Ras(x)  20  x2  x2 10(cos 2x cos 2x ) Rastrigin’s Function 1 2 1 2 全局最小点 (0,0) 模拟退火算法 一、模拟退火算法基本原理 模拟退火算法 （Simalated Annealing ，简称SA）属于一种 通用的随机探索算法，1953年N. Metropolis (梅特罗波利斯)等人 提出了模拟退火算法，其基本思想是把某类优化问题的求解过程 与统计热力学中的热平衡问题进行对比试图通过模拟高温物体退 火过程，来找到优化问题的全局最优解或近似全局最优解． 一个