第三章 常用的一维搜索基本方法 工程优化课件 西电.pptVIP

3.1 搜索算法结构;△可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点的可行方向。 同时满足上述两个性质的方向称下降可行方向。 ;模型算法;二、收敛性概念： 考虑（fs） 设迭代算法产生点列{x(k)} ?S. 1. 理想的收敛性：设x*∈S是g.opt(全局最优解).当x*∈ {x(k)} 或 x(k) ≠ x*， ?k，满足 时，称算法收敛到最优解 x*。 ; 由于非线性规划问题的复杂性，实用中建立下列收敛性概念 ： 2. 实用收敛性：定义解集 S* = { x | x 具有某种性质 } 例：S*={x|x---g.opt} S*={x|x---l.opt} S*={x| ?f(x)=0} S*={x|f(x)≤β } (β为给定的实数，称为阈值);三、收敛速度（续） 定理：设算法点列{x(k)}超线性收敛于x*,且x(k)≠x*， ?k，那么 证明：只需注意 | ||x(k+1) –x* || -|| x(k) –x* || |≤ ||x(k+1) –x(k) || ≤ ||x(k+1) –x* || +|| x(k) –x* || ，除以|| x(k) –x* || 并令k→∞，利用超线性收敛定义可得结果。;四、二次终结性 ▲一个算法用于解正定二次函数的无约束极小时，有限步迭代可达最优解，则称该算法具有二次终结性。 ;问题描述：;设其最优解为;一般地，线性搜索算法分成两个阶段：; 搜索区间的确定 黄金分割法(0.618法) 二次插值法 Newton法;学习的重要性：;;单峰函数具有一个重要的消去性质;§3.2.2 进退算法 (或称成功-失败法);（二）算法; (三) 几点说明 缺点：效率低； 优点：可以求搜索区间； 注意：h 选择要适当，初始步长不能选得太小； ;§3.3 区间消去法－黄金分割法 ;（二）黄金分割法的基本思想 ;（三）算法 ;!!! 在迭代过程中，四个点的顺序始终应该是 ax1 x2 b;f(x)=x2, a=-1.5, b=1;精度10-5;f(x)=x2, a=-1.5, b=1;精度10-10;f(x)=x2, a=-1.5, b=1;精度10-10重新开始; 设 f (x)在 [a ,b]上可微，且当导数为零时是解。 取 x=(a+b) / 2, 那么 f (x) = 0 时, x 为最小点, x= x* ; f (x) 0 时, x 在上升段, x* x，去掉[x ,b] ; f (x) 0 时, x 在下降段, x* x，去掉[a, x] . (自己画算法框图);[a,b]缩小，当区间[a,b]的长度充分小时，或者当 充分小时，即可将[a,b]的中点取做极小点的近似点，这 时有估计： ;假设 f(x) 是具有极小点的单峰函数，;§3.5 多项式近似法－二次插值法 ;f(x);! 迭代过程要点 ！;在完成一次计算后，得到近似x*，;;（四）逐次二次插值近似法的算法;二次插值法的优点：收敛速度较快，约为1.32阶;2）用二次插值法逼近极小点 相邻三点的函数值: x1=0, x2=1, x3=2; f1=2, f2=1, f3=18. 代入公式： ;;例 3-4　用二次插值法求 的极值点。初始搜索区间 ， 。;;;要求计算导数的插值法 ;牛顿法程序流程： ;例题 用Newton法求解 初始点取 x0 = 1。（迭代二次） ; 例1： 求 min f (x)= arctan t d t 解： f ′ (x) =arctan x , f ″(x)=1／(1+ x2) 迭代公式： xk +1= xk - (1+ xk 2)