工程优化3.ppt

3.1 搜索算法结构 一、下降算法模型 考虑（fs） 常用一种线性搜索的方式来求解：迭代中从一点出发沿下降可行方向找一个新的、性质有改善的点。迭代计算： 其中 为第 次迭代的搜索方向， 为沿 搜索的最佳步长因子（通常也称作最佳步长）。 △可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点的可行方向。 同时满足上述两个性质的方向称下降可行方向。 迭代法的基本思想是：首先给出 的极小点 的一个初始估计 （初始点），然后，计算一系列的点 ，希望点列 的极限就是 的一个极小点。怎样产生这个点列呢？即有了点 后，如何求得点 呢？我们考虑，因为 是一个向量，而向量是由它的方向和长度决定的，即那么，如何选取 和 呢？（1）要求极小化序列对应的函数值是逐次减少的，至少是不增的，即 这种算法称为下降递推算法或下降算法。 （2）要求极小化序列具有性质：或者 中某一点 本身是 的极小点，或者 有一个极限 ，它是函数 的一个极小点。具有上述性质的算法称为收敛的。 一般把最优化的迭代过程分为以下四步：（1）选择初始点 ；（2）若 已求得，且不是极小点，设法选取方向 ，使得函数值沿 下降， 称为搜索方向；（3）方向确定以后，选步长 ，使得函数值下降（即一维搜索）；（4）检验新点是否为极小点，或满足精度要求的近似极小点，若满足，迭代结束；否则继续迭代。 模型算法 二、收敛性概念： 考虑（fs） 设迭代算法产生点列{x(k)} ?S. 1. 理想的收敛性：设x*∈S是g.opt.当x*∈ {x(k)} 或 x(k) ≠ x*， ?k，满足 时，称算法收敛到最优解 x*。 由于非线性规划问题的复杂性，实用中建立下列收敛性概念 ： 2. 实用收敛性：定义解集 S* = { x | x 具有某种性质 } 例：S*={x|x---g.opt} S*={x|x---l.opt} S*={x| ?f(x)=0} S*={x|f(x)≤β } (β为给定的实数，称为阈值) 2.实用收敛性（续） ▲收敛性：设解集S*≠ ，{x(k)}为算法产生的点列。下列情况之一成立时，称算法收敛： 1°?x(k) ∈S*; 2°x(k) S*， ?k，{x(k)}的任意极限点∈S* 。 ▲全局收敛：对任意初始点x(1),算法均收敛。 局部收敛：当x(1) 充分接近解x*时，算法才收敛。 三、收敛速度 设算法产生点列{x(k)}，收敛到解x*，且x(k)≠x*， ?k， 1.线性收敛： 当k充分大时成立。 2.超线性收敛： 3.二阶收敛： ? ? ﹥0，是 使当k充分大时有 三、收敛速度（续） 定理：设算法点列{x(k)}超线性收敛于x*,且x(k)≠x*， ?k，那么 证明只需注意 | ||x(k+1) –x* || -|| x(k) –x* || |≤ ||x(k+1) –x(k) || ≤ ||x(k+1) –x* || +|| x(k) –x* || ，除以|| x(k) –x* || 并令k→∞，利用超线性收敛定义可得结果。 四、二次终结性 ▲一个算法用于解正定二次函数的无约束极小时，有限步迭代可达最优解，则称该算法具有二次终结性。 ▲二次终结性=共轭方向+精确一维搜索。 问题描述： 设 f (x)在 [a ,b]上可微，且当导数为零时是解。 取 x=(a+b) / 2, 那么 f (x) = 0 时, x 为最小点, x= x* ; f (x) 0 时, x 在上升段, x* x，去掉[x ,b] ;