最优化理论及方法第四章ppt(2013年10月10日).ppt

Fibonaoci法 Fibonaoci 数列 Fibonaoci 分数数列 为整数序列前后两项之比 性质: 黄金分割法是Fibonacci法的简单形式 Fibonacci数列中 当 迭代后的区间长度与迭代前的区间长度之比为 例1:Fibonacci法求解 牛顿法（Newton）和插值法 Newton法算法框图： 初始λ1,ε1, ε2 0 k=1 ︱ ф′ (λk ) ︱ε1? 停；解λk y N ф″(λk ) 0? N 停，失败 Y λk +1= λk - ф′ (λk ) ／ ф″(λk ) | λk +1-λk | ε2 Y N k=k+1 例2: 求 min ф(λ)= arctan t d t 解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2) 迭代公式： λk +1= λk - (1+ λk2) arctan λk 取λ1= 1，计算结果： k λk ф′ (λk) 1／ф″(λk ) 1 1 0.7854 2 2 -0.5708 -0.5187 1.3258 3 0.1169 -0.1164 1.0137 4 -0.001095 -0.001095 λ4≈ λ* =0 取λ1=2，计算结果如下： k λk ф′ (λk) 1／ф″(λk ) 1 2 1.1071 5 2 -3.5357 -1.2952 13.50 3 13.95 不收敛。 2、插值法： 用ф(λ)在2个或3 个点的函数值或导数值，构造2 次或3次多项式作为ф(λ)的近似值，以这多项式的极小点为新的迭代点。 3点2次，2点2次，4点3次，3点3次，2点3次等 以3点2次为例： 取λ 1，λ 2，λ3，求出ф(λ1)， ф(λ2)， ф(λ3)（目标函数值满足两头大，中间小） 设二次插值多项式：aλ2 +bλ +c= ф(λ) aλ12 +bλ1 +c= ф(λ1) aλ22 +bλ2 +c= ф(λ2) aλ32 +bλ3 +c= ф(λ3) 解得a,b 再从λ 1，λ 2，λ3， 中选择目标函数值最小的点 及其左右两点，作新的插值，以此类推。 * 自动化学院 CISIA 自动化学院 自动化学院 CISIA 第 四 章 优化算法的结构与一维搜索 4.1 常用的优化 算法结构 设迭代算法产生点列{x(k)} ?S. 1. 理想的收敛性：设x*∈S是全局最优点(g.opt)。当x*∈ {x(k)} 或 x(k) ≠ x*， ?k，满足 时，称算法收敛到最优解 x* 一. 算法收敛性问题 2. 实用收敛性：定义解集 S* = { x | x 具有某种性质 } 例：S*={x|x---g.opt} S*={x|x---l.opt} S*={x| ?f(x)=0} S*={x|f(x)≤β }