第5章 节 无约束最优化方法 筹学与最优化方法－课件.pptVIP

第 五 章 无约束最优化方法 第五章 无约束最优化 （f） min f(x) f : Rn→R 5.1 最优性条件 设 f 连续可微 必要条件：若x*－l.opt. 则▽f(x*)=0 (驻点)。 当 f 凸时， x*－l.opt. ←→ ▽f(x*)=0 注意： f(x) ≥f(x*)+ ▽Tf(x*)(x-x*), ? x. 故 f(x*) ≤f(x)， ? x. （ 由于▽Tf(x*) =0） 5.2 最速下降法 在迭代点 x(k) 取方向 d(k)= －▽f(x(k) ) 精确一维搜索 最 速 下降法：梯度方向函数值变化最快的方向 第五章 无约束最优化 5.2 最速下降法（续） x(1), ε 0, k=1 || ▽f(x(k) ) || ε? Yes stop. x(k) –解 No d(k)= －▽f(x(k) ) 解 min f(x(k)+λ d(k)) s.t. λ 0 得 x(k+1)=x(k)+λkd(k) k=k+1 第五章 无约束最优化 5.2 最速下降法（续） 特点：全局收敛，线性收敛，易产生扭摆现象而造成早停。 （当x(k)距最优点较远时，速度快，而接近最优点时，速度下降） 原因：f(x)=f(x(k))+▽Tf(x(k))(x-x(k)) + o||x-x(k)|| 当 x(k)接近 l.opt.时 ▽f(x(k) ) →0，于是高阶项 o||x-x(k)||的影响可能超过▽Tf(x(k))(x-x(k)) 。 5.3 Newton法及其修正 一、 Newton法： 设f(x)二阶可微，取f(x)在x(k)点附近的二阶Taylor近似函数： qk(x)=f(x(k))+ ▽Tf(x(k))(x-x(k)) +1／2 (x-x(k))T▽2f(x(k)) (x-x(k)) 求驻点： ▽ qk(x)= ▽f(x(k))+ ▽2f(x(k)) (x-x(k))=0 第五章 无约束最优化 Newton法： （续） 当▽2f(x(k)) 正定时，有极小点： x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k)) ——Newton迭代公式 实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k) x(k+1)=x(k)+s(k) x(1), ε 0, k=1 ▽2f(x(k)) S= -▽f(x(k)) 得s(k) , x(k+1)=x(k)+s(k) || s(k) || ε? STOP.x(k+1)—l.opt Yes No k=k+1 实用中，判断 若▽2f(x(k)) 非正定时 进行相应处理 第五章 无约束最优化 5.3 Newton法及其修正 二、 Newton法的改进： （续） (3)Goldstein-Price方法(G-P法)： 取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定 - ▽f(x(k)) ，否则 采用下列精确一维搜索： 求λk，使其中δ ∈(0,1／2) 1° f(x(k)+λk d(k)) ≤ f(x(k))+ δ ▽f(x(k)) Td(k) λk 2° f(x(k)+λk d(k)) ≥f(x(k))+ (1-δ) ▽f(x(k)) Td(k) λk 特点：在一定条件下， G-P法全局收敛。 但当▽2f(x(k)) 非正定情况较多时，收敛速度降为接近线性。 第五章 无约束最优化 5.3 Newton法及其修正 二、 Newton法的改进： （续） (4)Levenberg-Marguardt法（L-M法）： 主要思想： 用[▽2f(x(k)) +μ I ] 取代▽2f(x(k)) 进行迭代，其中I 为单位矩阵。 μ0 使 [▽2f(x(k)) +μ I] 正定， μ尽量小。 特点：全局二阶收敛。 第五章 无约束最优化 5.4 共轭梯度法 一、共轭梯度法的方向： 设f(x)=(1/2)xTGx+bTx+c Gn×n对称正定，b∈ Rn,从最速下降方向开始，构造一组共轭方向： 设初始点x(1),取d(