共轭梯度法的特点-西南科技大学网络教育学院.PPT

5. 优 化 设 计 5.3 一维搜索的优化方法 5.3.1 确定搜索区间的方法—进退法 5.3.1 确定搜索区间的方法—进退法 5.3.1 确定搜索区间的方法—进退法 5.3.1 确定搜索区间的方法—进退法 5.3.1 确定搜索区间的方法—进退法 若对任意x1 ,x2, α≤ x1 x2 ≤b满足： 1)若x1 ≤ x* ，则φ(x1) φ(x*); 2) 若x2 ≥x* ，则φ(x*) φ(x2). 则称φ(x)在[α, b] 上强单峰。 若只有当x1 ≠x* ， x2 ≠x* 时，上述1), 2) 式才成立，则称φ(x)在[α, b] 上单峰。 5.3.1 确定搜索区间的方法—进退法 一维搜索法：就是一元函数极小化的数值迭代算法，其求解过程称一维搜索。一维搜索法是构成非线性优化方法的基本算法，因为多元函数的迭代解法可归结为在一系列逐步产生的下降方向上的一维搜索。 一维搜索法一般分两步： 1）确定初始搜索区间 ，该区间应是包括一维函数极小点在内的单峰区间； 2）在搜索区间 内寻找极小点。 5.3.2 黄金分割法 例1：用黄金分割法求 的初始区间，设初始点 ，初始步长 。 解：用进退法确定初始区间： 比较，因 作前进运算： 5.3.2 黄金分割法 因 ，再作前进运算： 故初始搜索区间为： 1、定义： 二次插值法又称抛物线法，它是以目标函数的二次插值函数的极小点作为新的中间插入点，进行区间缩小的一维搜索算法。 用f(x)在2 或3 个点的函数值或导数值，构造2 次或3次多项式作为f(x)的近似值，以这多项式的极小点为新的迭代点。 3点2次，2点2次，4点3次，3点3次，2点3次等 以3点2次为例： 取x 1，x 2，x3，求出f(x1)， f(x2)， f(x3) 5.3.4 二次插值法 5.3.4 二次插值法 5.3.4 二次插值法 5.3.4 二次插值法 5.3.4 二次插值法 例2.用二次插值法求函数 的极小点，给定 解：1）确定初始区间： 由于 ，应加大步长继续向前探测， 由于 ，可知初始区间已经找到， 即 5.3.4 二次插值法 2）用二次插值法逼近极小点 记此初始区间内的相邻三点及其函数值依次为： 将它们代入式，得插值函数的极小点，即新的插入点及其函数值： 由于， 故新区间 5.3.4 二次插值法 由于， 故应继续作第二次插值计算。 在新的区间内，相邻三点及其函数值依次为： 将它们代入式，得 由于， 新区间 5.3.4 二次插值法 由于， 故一维搜索到此结束，极小点和极小值为： 5. 优 化 设 计 5.4 多维优化方法 5.4 多维优化方法 多维优化方法是进行多变量优化设计的数值迭代法。它包括了无约束优化方法和约束优化方法两种。 1、无约束优化问题的一般形式： 求解设计变量：X=[x1,x2,…,xn]T,X∈Rn 满足目标函数minf(X)的无约束最优化解X*和最优化函数minf (X *)。 2、无约束优化的分类 根据搜索方向的不同构成形式，可分类以下两类： 5.4 多维优化方法 1）导数法：利用目标函数的一阶和二阶导数信息构成搜索方向的算法，称为导数法，如梯度法和共轭梯度法。 注：其收敛性和收敛速度都是比较好的。 2）模式法：通过几个已知点上函数值的比较构造搜索方向的算法。如鲍威尔法。 对于较复杂的目标函数优化是有利的。 3、约束优化方法 minf(X) s.t. gu(X)≤0 (u=1,2,…,m) hv(X)=0 (v=1,2,…,pn) 5.4 多维优化方法 根据处理条件的不同，约束优化方法分为直接法和间接法两类。 直接法是指在迭代过程中逐点考察约束，并使迭代点始终局限于可行域之内的算法。如可行方向法和复合法。 间接法是指把约束条件引入目标函，将约束优化问题转化为无约束问题求解的算法。