运筹学与最优化方法 第5章无约束最优化.pptVIP

第 五 章;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;第五章 无约束最优化;无约束最优化----;共轭梯度法 一、共轭梯度法的方向： （续） 使d(k+1)与d(1),d(2), …,d(k)都共轭： d(k+1) TG d(j) =0 , j= 1,2, …,k ……⑤ Gram-Schmidt过程： i, j= 1,2, …,k 记 y(j)= ▽f(x(j+1)) -▽f(x(j)) =G(x(j+1)-x(j))=αjGd(j) …….⑥ 根据⑥式，有 d(i)T y(j) = αj d(i)T G d(j)=0 , i≠j ……⑦ 根据④，⑤，⑥有 d(k+1) T y(j) = αj d(k+1)T G d(j)=0 , j= 1,2, …,k ……⑧;共轭梯度法 一、共轭梯度法的方向： （续） ? j≤k, ij 有 ▽f(x(j+1))T d(i)=0 ……⑨ 由⑥式 由⑨式 ▽f(x(j+1))T ▽f(x(i))=0 ? ij≤k …… ⑩ (由④式 ) 根据⑧及⑥得： j=1,2, …,k-1 - ▽f(x(k+1))T [▽f(x(j+1)) - ▽ f(x(j))]+βj(k) d(j)T y(j)=0;共轭梯度法 一、共轭梯度法的方向： （续） 上式中由⑩式有： - ▽f(x(k+1))T ▽f(x(j+1)) =0 由⑥式有： βj(k) d(j)T y(j)= βj(k) αjd (j)T Gd(j) 于是 βj(k) =0 故④式中只有 βk(k) ≠0, 记βk = βk(k) 可得到公式： d(k+1)= - ▽f(x(k+1))+ βk d(k) 当 j=k时，由⑧′, ⑥式得：;无约束最优化;二、算法流程图;5.4 共轭梯度法 三、算法特点： 1、全局收敛（下降算法）；线性收敛； 2、每步迭代只需存储若干向量（适用于大规模问题）； 3、有二次终结性（对于正定二次函数，至多n次迭代可达opt.） 注：对不同的β k公式，对于正定二次函数是相等的，对非正定二次函数，有不同的效果，经验上PRP效果较好。;变尺度法 一、变尺度法的基本思路： (f)min f(x), f: R n→ R 1、基本思想： 用对称正定矩阵H(k)近似▽2f(x(k)), 而H(k)的产生从给定H(1)开始逐步修整得到。 2、算法框图：;变尺度法 一、变尺度法的基本思路： （续） 3、拟Newton方程： 记：s(k)=x(k+1)-x(k) , y(k)=▽ f(x(k+1))-▽ f(x(k)) 当 f 为二次函数时：f(x)=1∕ 2xTBx+c T x+b ▽ f= B x+c 有 y(k)=Bs(k) 或 s(k)=B-1 y(k) 称 H y=S 或 y=BS 为拟Newton方程。 显然 当H 正定时, B-1=H. 4、”近似”： 对于f(x)的二阶Taylor展式，舍去高阶项， 有 y(k) ≈ ▽ 2f(x(k))s(k) 或 s(k) ≈ (▽ 2f (x(k)))-1 y(k) 用矩阵B(k)或H(K)分别取代▽ 2f(x(k)) 或者 (▽ 2f (x(k)))-1 使拟Newton方程成立，可看作是对▽ 2f(x(k)) 或(▽ 2f (x(k)))-1的一种近似。此种近似H 或 B 不唯一。;变尺度法 一、变尺度法的基本思路： （续） 5、变尺度法的主要特点： 　⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵） 　⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。 二、DFP ( Davidon(1959),Fletcher and