最优化理论与工程应用.ppt

最优化理论与工程应用 厦门大学信息科学与技术学院 曾德炉 2014.02 Email: dltsang@xmu.edu.cn 最优化理论与工程应用(Optimization Theory and Its Applications in Engineering Problems) 概述 经典最优化方法 线性规划 非光滑最优化方法 光滑最优化方法 最优化方法的工程应用 相关讨论课及最新研究进展与应用选讲 第二章 经典最优化方法 §2.1 简单函数（无约束）经典最优化 §2.2 无约束最优化方法 §2.3 约束最优方法 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） 求一元函数 f(x)的极小点和极小值问题就是一维最优化问题，一维搜索法（也叫线搜索法）是求解一维优化问题的方法。一维搜索法是优化问题中最简单、最基本方法。因为它不仅可以解决单变量目标函数的最优化问题，而且在求多变量目标函数的最优值时，大多数方法都要反复多次地进行一维搜索，用到一维优化法。 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） 一般多维优化计算的迭代的基本格式： x(k+1)=x(k)+αs(k), 其中x(0)为起始点，s(k)为第k步的搜索方向， α是搜索步长。沿某目标函数值下降的搜索方向s(k) ，选择一个步长因子α ，通过x(k+1)=x(k)+αs(k)求得下一个新迭代点 ， 满足 f(x(k+1)) ≤ f(x(k)) ,如此重复，直到求出目标函数的最优解为止。 理想步长 αk可以通过求min φ(α) =min f(x(k)+αs(k)) 的极小点获得 ，使得目标函数达到最小 ，这种在第 k次迭代中求理想步长αk 的过程，就是一维搜索过程。 寻找极小点αk 可以采用解析解和数值解等方法，例如若f连续可谓，则可求▽f(x(k)+αs(k))T s(k)=0。（精确线搜索）；否则，选取αk使得△ =f(x(k))- f(x(k+1))0满足给定的下降量。 （非精确线搜索） 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） 线搜索优化的思路： 确定优化问题最优解所在搜索空间； b)再采用某种分割技术或插值方法缩小空间，然后搜索求解。 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） 定义：搜索区间，单峰区间，单峰函数 （unimodal fun.） *确定函数值呈现“高-低-高”的三点（进退法）。 例题： 用进退法确定函数f(x)=x^2-6x+9的初始搜索区间[x1,x2]。设初始点x(0)=0 ，初始步长 s(0)=1. 解：x(1)=x(0)+s(0)=1,f0=(x(0))=9, f1=f(x(1))=f(1)=4; 因f1 f0 ，故加快步长，令s(1)=2, 则有x(2)=x(1)+s(1)=3, f2=f(x(2))=0. 又因f2f1,继续加大步长，令s(2)=4，则有x(3)=x(2)+s(2)=7， f3=f(x(3))=16. 而f3f2,故初始搜索区间为[x1,x2]=[1,7]。 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） 当已确定了初始单谷区间后，可以一维寻优。具体方法有区间消去法和函数逼近法。 a)区间消去法, 又称试探法，就是不断消去不存在最优点的区间，使搜索区域越来越短，最终寻得最优点。为了在每次迭代中缩短区间，需要在区间内插入计算点，计算函数值。插入计算点方法有斐波纳契法、黄金分割法、二分法。 b)函数逼近法 又称插值法或近似法，用多项式代替目标函数，并利用这个多项式的极小点作为目标函数的近似最优点。这个多项式根据某点的函数值、一二阶导数等构造出来，有牛顿法（切线法）、二次插值法（抛物线法）等. 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） a)区间消去法 在搜索区域 确定后[a,b]，在该区间内任取两点a1 、b1 ，a1b1 ，并计算函数值f(a1) 、f(b1) 。若 f(a1)f(b1)，则取[a,b1] 为缩短后的搜索区间；反之 ，则取[a1,b] 为缩短后的搜索区间。如下图所示： a a1 b1 b f(a1) f(b1) b f(a1) f(b1) a a1 b1 第二章 经典最优化方法 2.1 简单函数（无约束）经典最优化 1） 一维搜索法（线搜索法） a)区间消去法 实际计算中，常用有黄金