41 智能优化概述.ppt

* 4.1 智能优化概述 传统优化理论与方法的局限性 函数优化问题 定义增广目标函数，转化约束优化问题为无约束优化问题； 基于梯度类方法求解无约束优化问题的局部最优解。 传统理论方法面向的问题 传统方法思路与步骤 （1）选取初始点 （2）构造下降搜索方向 （3）确定搜索方向上的步长 （4） （5）满足终止条件，停止迭代，当前解；否则，k=k+1,转第2步 传统方法的局限性 经典优化算法是局部搜索算法。在其迭代过程中，不断以当前解邻域下降方向上的解替换当前解，即总是以邻域的较好解更新当前解。这是一种基于贪婪思想的做法，无疑会丧失全局优化的能力，从而在搜索过程中不可避免地陷入局部最小。其迭代过程是从初始解开始的确定性的过程，是一个确定性算法。 不适用于组合优化问题 涉及排序、分类、筛选等的一类问题 旅行商问题（Traveling salesman problem，TSP) 加工调度问题(Sheduling problem,如Flow-shop,Job-Shop) 0-1背包问题(Knapsack Problem); 装箱问题（Bin packing problem) 图着色问题（Graph coloring problem) 聚类问题（clustering problem) TSP: 共去n个城市再回到原点，每个城市当且仅当去一次，求最短路径。 n!个排列。已知城市的位置图。 加工调度问题：n个工件，m台机器；每个工件在m台机器加工的顺序和操作时间已知，要求安排所有工件的加工次序，使某指标最优。 0－1背包问题：有n个物品（可能不同），1个背包；已知各物品的体积和价值；该背包如何盛放物品，可以使包中物品的价值最大。 装箱问题：有已知数量的很多小物品，如何用最少的箱子数去装入。 图着色问题：对于n个顶点的无环图，对每个顶点着色，要求相邻的顶点着不同的颜色，怎样着色使颜色种类最少。 聚类问题：M维空间上的n个模式聚成k类，使类内距最小。 划分方式 工程代表性 智能优化方法 模拟退火算法(Simulated Annealing Algorithm) 模拟进化算法(Simulated evolutionary algorithm) 集群优化方法（Swarm optimization) 蚁群优化（Ant Colony Optimization) 粒子群优化算法（Particle Swarm Opt.) 克隆选择算法(Colonal Selection Algorithm, CSA) 是随机性的或貌似随机性的搜索算法，可适用于多种问题，鲁棒性好。往往是一些物理或生物优化过程的模拟算法，或混沌搜索算法。有些智能优化算法，还能根据优化过程的进展情况，对算法自身的参数作出自适应的调整，智能化程度更高。 人工免疫系统 (Artificial Immune System, AIS) Biological Inspired Computaiton BIC 混沌搜索算法 禁忌搜索(Tabu Search, 或Taboo Search) 模拟退火算法(Simulated Annealing) 1。随机产生一个点，作为初始最优点，计算函数值，T=T0; t=1 2。当前最优点处作一随机扰动，计算函数值增量⊿ 3。若⊿ 0,则以概率1转移（替换当前点）；否则以概率 p=exp(-⊿/T)转移。 4。若t小于终止步数，则t=t+1,T=T(t)（冷却进度表）,转步骤2 5。输出最优点 模拟退火算法以概率1收敛于目标函数的全局最小点 物理退火：包括加热、保温、冷却三个子过程，旨在消除内应力,使固（晶）体的结构状态处于最低自由能状态。Metropolis准则（1953） ：某一温度下，晶体接收一新的较低能量结构状态的概率为1，而接收一较高能量结构状态的概率为p=exp(-⊿/T)，⊿为函数增量；或者说，某一温度下变到能量较高状态的概率总是低于变到较低能量状态的概率，当温度较低时，变到能量较高状态的概率会更小。因此，总的趋势是，在保温和冷却过程中，晶体的结构状态朝着能量较低的方向变化；最后随着冷却过程的结束，晶体结构状态以概率1收敛于晶体的最低能量结构。 算法步骤： 1。在目标函数的定义（基本）空间随机给出一些点（或个体）作为初始的父代群体 2。评价初始父代群体，若满足要求则结束，否则继续。 3。通过对父代群体的交叉（crossover）、突变（mutation）、选择(selection)等遗传操作产生新一代群体 4。评价新一代群体，若有满足要求的优化解或迭代次数足够多则过程结束，否则将新一代群体置为父代群体又回到步骤三。 模拟进化算法（Simulated EA, EA) 自然界中生物进化是一个规律。如何进化的？孟德尔的“遗传变异”理论和达尔文的“