最优化搜索算法的结构学习课件.pptVIP

4.2 一维搜索 λ=1，α，β 1°是否成立？ N Y 2°是否成立？ Y 停；λk= λ N λ =(3／2)λ λ =(1／2)λ 要提高精确度可把2°改为： 2°′ |▽f T(x+ λd ) d |≤ – γ ▽f T(x) d 当γ =0 时变成精确一维搜索。 此方法一般经几次迭代即可得到满意的λk 。 * 第 4 章 最优化搜索算法的结构 与 一维搜索 4.1常用的搜索算法结构 1.收敛性概念： 考虑（fs） 设迭代算法产生点列{x(k)} ?S。 （1） 理想的收敛性：设x*∈S是g.opt.当x*∈ {x(k)} 或 x(k) ≠ x*， ?k，满足： 时，称算法收敛到最优解 x*。 4.1常用的搜索算法结构 由于非线性规划问题的复杂性，实用中建立下列收敛性概念 ： （2）实用收敛性：定义解集 S* = { x | x 具有某种性质 } 例如：S*={x|x—g.opt.} S*={x|x—l.opt.} S*={x| ?f(x)=0} S*={x|f(x)≤β } (β为给定的实数，称为阈值) 4.1 常用的搜索算法结构 ▲收敛性：设解集S*≠ ，{x(k)}为算法产生的点列。下列情况之一成立时，称算法收敛： 1°?x(k) ∈S*; 2°x(k) S*， ?k，任意极限点{x(k) } ∈S* 。 ▲全局收敛：对任意初始点x(1),算法均收敛。 局部收敛：当x(1) 充分接近解x*时，算法才收敛。 4.1 常用的搜索算法结构 2.收敛速度 设算法产生点列{x(k)},收敛到解x*,且x(k)≠x*，?k， （1）线性收敛： ，当k充分大时成立。 （2）超线性收敛： （3）二阶收敛： ? ? ﹥0，是使当k充分大时，有 4.1 常用的搜索算法结构 定理1 设算法点列{x(k)}超线性收敛于x*,且x(k)≠x*， ?k，那么 证明只需注意 | ||x(k+1) –x* || –|| x(k) –x* || |≤ ||x(k+1) –x(k) || ≤ ||x(k+1) –x* || +|| x(k) –x* || ，除以|| x(k) –x* || 并令k→∞，利用超线性收敛定义可得结果。 4.1 常用的搜索算法结构 3.二次终结性 ▲一个算法用于解正定二次函数的无约束极小时，有限步迭代可达最优解，则称该算法具有二次终结性。 ▲二次终结性=共轭方向+精确一维搜索。 ▲共轭方向 · 定义1 设 An×n 对称正定，d (1),d (2) ∈Rn , d (1) ≠0，d(2) ≠0，满足d(1)TAd(2)=0, 称d(1),d(2) 关于矩阵A共轭。 · 共轭向量组：d(1),d(2), …,d(m) ∈Rn 均非零，满足d(i)TAd(j)=0(i≠j) 。 4.1 常用的搜索算法结构 · 当A=E(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正交关系。 · 当d(1),d(2), …,d(m) 关于正定矩阵A两两共轭时， d(1),d(2), …,d(m) 线性无关。 Proof. 设d= ?1 d(1)+ ?2d(2)+…+ ?md(m) =0， ?j=1,2, …,m， d(j)TAd= ? jd(j)TAd(j)=0 因为 d(j)TAd(j) 0，故?j =0，即线性无关。 超线性收敛和二次终结性常用来讨论算法的优点。 正定 4.1 常用的搜索算法结构 4.下降算法模型 考虑（fs） 常用一种线性搜索的方式来求解：迭代中从一点出发沿下降可行方向找一个新的、性质有改善的点。 △下降方向 ： 设 ∈S，d ∈Rn,d≠0,若存在 ，使 ，称d 为 在 点