第一章最优化原理建模与数学预备知识讲解.pptVIP

最优化方法 各位同学：欢迎大家选修“最优化方法”课程！ 本课程为工科硕士研究生学位基础课程，课程采用平时考核和期末考试综合评定成绩的方法结业。 本课程课件为非公共用品，敬请不要商量拷贝课件事宜！ 建议购买相关教材或者借阅参考书，适当做听课笔记！ 工科硕士研究生《最优化方法》张鸿雁 计划学时数：32学时 主要参考书目： [1]最优化方法，解可新等，天津大学出版社，1997。 [2]最优化原理与方法（修订版），薛嘉庆，冶金工业出版社，2003.6。 [3]最优化方法，何坚勇，清华大学出版社，2007.1。 [4]最优化方法，孙文瑜，徐成贤，朱德通，高等教育出版社，2005.3。 [5]非线性规划，胡毓达，高等教育出版社，1990。 [6]微粒群优化与调度算法，王凌，刘波，清华大学出版社，2008.5。 [7]蚁群优化算法，马良 等，科学出版社，2008.2。 我们感兴趣的是至少有一个交点（ ≥0）的情形。 此时用平面L截曲面S得到一个圆，将它投影到 平面上，仍为同样大小的圆。在这个圆上每一点的目标 函数值均为 , 若一条曲线上任何一点的目标函数值等于同一常数，则称此曲线为目标函数的等值线。 易见，变动 f 的值，得到不同等值线，这是一组同心圆 ，对应 f=0的等值线缩为一点G，对应 f 0 的等值线为空集。 易见，随着 f 值变小，等值线圆半径变小，最后缩为一点，即为问题的最小值点G， = 易见可行域为曲线段ABCD。当动点沿抛物曲线段ABCD由A点出发时，AB段目标函数值下降。过点B后，在BC段目标函数值上升。过C点后，在CD段目标函数值再次下降。D点是使目标函数值最小的可行点，其坐标可通过解方程组： 由以上三个例子可见，对二维最优化问题。我们总可以用图解法求解，而对三维或高维问题，已不便在平面上作图，此法失效。 在三维和三维以上的空间中，使目标函数取同一常数值的是 {Z| f(Z)=r,r是常数}称为目标函数的等值面。 等值面具有以下性质： （1）不同值的等值面之间不相交，因为目标函数是单值函数。 （2）除了极值点所在的等值面外，不会在区域内部中断，因为目标函数是连续的 （3）等值面稠的地方，目标函数值变化得较快，而稀疏的地方变化得比较慢。 （4）一般地，在极值点附近，等值面（线）近似地呈现为同心椭球面族（椭圆族）。 几个常用的梯度公式： 易见图(a)中两个迭代点xk和xk+1已靠得很近了，但它们距极小点x*却都很远，而且这两点的目标函数值 和 相差都很大。这时，又会想到再附加一个条件： 就比较可靠了。但如果只用（2）而不用（1）也是不可行的。如图(b)中，fk与fk+1相差很小，而相应两个迭代点Zk+1,Zk却相距很远，同时也距Z*也很远。但有时fk的值 和Zk的分量与1相比可能很大，而在实际计算中若仍用（1），（2）作终止准则就太严格了，必须花费很多的计算才能得到，这有时是不必要的。因此可用以下两式作判别准则 一是下降方向Pk的选取，一是步长因子tk的选取。不同规则对应不同的最优化方案。 算法的进本基本结构是： （1） 选定初始点Z0,令k:=0; （2） 按某种规则选取搜索方向Pk,使 ； （3） 按某种规则选取搜索步长tk使 （4）令Zk+1=Zk+tkpk; （5）判定Zk+1是否满足给定的终止准则，若满足，则打印Zk+1和 ，终止迭代。否则令k:=k+1,转（2）。 当选择好了搜索方向后，选择步长因子的方法有多种。而实际计算中最常用的方法是直线搜索（又称一维搜索），即选取tk使： 与k无关的数 ， 当 (k0为某一整数）时有 则称序列 是线形（或一阶）收敛的。 定义2：对收敛于解z*的序列 ，若存在一个与k无关的 数β0和α1，当 则 的收敛阶为α或α阶收敛。当α=2时称为二阶收敛，当1α2称为超线性收敛。一般说来，线形收敛速度较慢，二阶收敛速度很快，超线形收敛居中。如果一个算法具有超线形以上的收敛速度，则为一个很好的算法。 前面曾提到过“二次收敛”，这与二阶收敛没有必然联系。所谓二次收敛即一个算法有用于具有正定距阵的 二次函数时在有限步可以获得它的极小点。 但二次函数的算法往往具有超线形以上的收敛速度，是一个比较好的算法。