大规模复杂相关管理问题的优化与决策方法.pptVIP

启发式算法一般基于对具体问题的理解，根据常识性知识、规则或者类比其他系统诸如进化过程、退火过程、蚁群智能、鸟群智能等构造, 求取问题的次优解或以一定的概率求取最优解。上述思路基于一定的直观基础而非数学理论本身, 因而称为启发式算法. 目的是构造一个容易理解的求解模式, 在一个可接受的合理的计算时间内, 提供一个”好”的解。 启发式算法 启发式算法分类 基于搜索的启发式 要求对问题的解进行表示，在解空间按照不同的逻辑进行搜索。 基于构造规则的启发式 要求根据问题具体特征设计合理的解构造规则，在该规则指导下，对解进行分段构造最终形成一个完整解而非对完整解进行搜索，避开对完整解的计算机表示并大大降低计算机存储空间开销。 启发式算法 质朴型: 下降算法/摄动算法 局部搜索型: 禁忌搜索/模拟退火 群体进化型: 遗传算法 群体智能型: 蚁群算法/粒子群/鱼群算法 基于数学逻辑的方法: Lagrangian分解/不完全分支定界 组合算法: GA+ANN/GA+Newton/ PSO+1-dimensional search…… 基于搜索的启发式算法 启发式算法难以从数学上精确度量其效果, 一般可以从两方面评价一个启发式算法的性能: 解的质量 计算成本(CPU计算时间，存储空间) 算法性能与计算复杂性 Empirical testing: based on the best solutions of some of the existing heuristics when tested on a set of published data. Benchmarking: see how the heuristic solution compares with the benchmark solution.(例子) 解的质量 Time Complexity defined by O(g(N)), where N the size of the problem. If g(N) is a polynomial function of N, then the problem can be solved optimally within a reasonable amount of computation time. If g(N) is an exponential function, the problem may be difficult to solve optimally within a reasonable amount of time. (NP-hard) Space Complexity the way the data are stored and retrieved 计算成本 几种启发式优化算法 下降算法(The Descent Method)，也称为爬山法(hill climbing)或贪婪算法(greedy heuristic)，是最经典、最简单的、最质朴的启发式算法。 下降算法 1. Select an initial solution, say x ? S (S is the set of feasible solutions). 2. Choose a solution x ? N(x) such that F(x) F(x) (N(x) is the neighborhood of x). If there is no such x, x is considered as a local optimum and the method stops. Else set x = x and repeat step 2. Steps of the DM x’ S N(x) x Limitations of The DM 对于单模态函数(unimodular,具有唯一极值点), DM方法非常有效 对于非单模态函数则常常跌入局部最优(local optimum). Functions-单模态、多模态 F(x) x F(x) x global minima local minima local maxima 模拟退火算法(Simulated Annealing) Metropolis 1953年提出. 模拟退火算法的灵感来自统计物理对晶体冷却的理论描述. 通过晶体冷却过程, 基于Gibbs正则分布+Metropolis准则实现全局最小化. 禁忌搜索(Tabu Search) Glover 1986年提出. 算法具有智能,有记忆能力,设法记住已经搜索过的历史区域信息, 达到避免重复历史过程的目的. 所谓”禁忌”就是禁止到达历史路径. 禁忌搜索(Tabu Search) 基本思路就是用一个记录表来记录已经搜索过的点,