函数优化的经典问题.doc

Ch1 智能优化方法的产生和发展 最优化的历史 数学分析(高等数学)的函数极值，最早的无约束函数优化。 拉格朗日乘子法是最早的约束优化方法。 二次世界大战时期，英国为了最有效地利用有限的战争资源，产生了运筹学(Operation Research)，解决受多个约束条件限制时，目标函数值的最大化(最小化)，其方法有线性规划(单纯型法)、动态规划、博弈论、排队论、存储论等，这些方法在二次世界大战后，被运用到了经济等诸多领域。 基本步骤如下： 1、选择一个初始解 该解必须是一个可行解。如单纯型法要一个基础可行解。对于有约束非线性最优化也必须是可行解，(但对于无约束的非线性最优化可以任何初始解)。 2、判断停止准则是否满足 一般为最优性条件。如单纯型方法是最下一行(的值均为非负。 对于无约束的非线性优化，是梯度函数(f(xk)=0。 对有约束的非线性优化，(f(xk)- (Th(xk)-(Tg(xk)=0，h(.)等式约束、g(.)不等式约束，称为Kuhn-Turker条件。 3、向改进方向移动 由于采用迭代方法，当不满足停止条件时，需要不断修改当前解。 对于单纯型方法：找出下方为负的所有max(|(|:(0)=min((:(0)，对应的变元进入基变量，对应列中的正系数被常系数除，值最小者所在行对应的基变量退出来。 对于非线性规划：最速下降法、共轭梯度法、变尺度法等，其xk+1=xk-((f(xk)，其中(为移动步长，(f(xk)为梯度或共轭梯度。 局限性： 1、单点运算方式，限制了运算效率 一个初始解出发，每次迭代只对一个点进行计算，无法利用并行计算、多核计算。 崽多好打架！无法群狼战略！ 2、向改进方向移动限制了跳出局部最优的能力 每次迭代都向改进方向前进，对于极小化问题都使得目标函数降低(极大化问题可转换为极小化问题，因此当没有特别交代时，都是极小化问题)，这样很可能陷入初始解附件的局解中，即不具备“爬山”能力，难以找到全局最优解，或所有局部最优解，即不具备全局搜索能力。 3、停止条件只是局部最优性的条件 梯度为0或Kuhn-Turker条件，只是最优解的必要条件，不是充分条件。只有当解的可行域是凸集、目标函数也是凸函数时，即“双凸”时，才能获得全局最优解，但在实际问题，这二个条件很难满足。 4、目标函数、约束函数必须连续可微，甚至还要高阶可微。 因此最优化方法的应用范围很窄，有些计算结果实际上难以行得通。 实际问题很多不满足以上条件，出现了一些新现象： 1、目标函数、约束条件很宽松 目标函数与约束条件不是一个连续的函数，可能是一些离散的组合问题，更不要求连续或高阶可微，可能含有规则、条件和逻辑关系，即难以用数学表达式来描述，由数学模型进化到了智能模型。 2、计算的效率比理论上的最优性更重要 由于实际问题比较复杂，如TSP问题，本身是一个NP完全问题，计算量非常大，有时更关注的是计算效率，而不是理论最优解。 3、算法随时终止能够得到较好的解 传统方法不能保证随时终止时，能够得到较好的解，如非线性规划，计算中终止可能得到的解连可行解都不是。但很多实际问题要求达到限定迭代次数后就停机，希望此时得到的解是比较优化的解。 4、优化计算中的数据可能不精确，初始解可能不是可行解，甚至远离可行解。数据可能是随机变量、模糊集合。 为了解决以上问题，运筹学必须放下身段，走出追求完美，追求理论上精确的“象牙塔”，完成“问题适应算法”的到“算法适应问题”的华丽转身，其间出现的新方法层出不穷。 智能优化方法的历史 1975年、Holland、Genetic Algorithms(遗传算法)：模仿生物种群中优胜劣汰适者生成机制，通过种群中优势个体的繁殖进化来实现优化。通过选择、交叉、变异来寻优，常用于非线性最优化和复杂的组优化或整数规划问题、管道优化设计(网络流)、通风网络的设计、飞机外形设计、图像处理、VLSI设计。 1977年、Glover、Tabu Search(禁忌搜索算法)：将记忆功能引入到最优解的搜索过程中，通过设置禁忌区阻止搜索过程中的重复，这在图论中最短路径的disjktra算法等都用过，从而大大提高寻优过程的搜索效率。 197X年、Jerne、Artificial immune System(人工免疫系统)。生物免疫系统是一个具有复杂的搞原病原生物体机理的独特系统。通过进化学习辨别危险的外部物体(细菌、病毒等)和体内自身的细胞(或分子)，通过从不同种类的抗体中，构造处理外部物体的方法或物质。是一个高度并行、分布、自适应和自组织的系统，具有很强的学习、识别、记忆和特征提取能力，常用于模式识别、信息安全、智能优化、机器学习、数据挖掘、自动控制、故障诊断等领域。 1999年、Hunt、Clone(克隆选择算法)，是人工免疫系统的改进，它用来说