最优化方法(IV)-浙江大学.PDFVIP

最优化方法(IV) 张宏鑫 2017-04-17 浙江大学计算机学院 签到 1. 请关注微信公众号：RGB-Group 2. 在该公众号中回复：csmath 在该公众号中回复：姓名 学号 3. _ 4. 三次不同时间输入：本教室GPS 坐标 （微信缺省功能） 1. 无约束非线性最优化 一 无约束最优化问题 . 无约束最优化问题 min f (x ) s.t . x ÎR n 其中f (x )有一阶连续偏导数。 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 二 梯度法 （最速下降法） . 迭代公式： x k + 1 = x k + lk d k 如何选择下降最快的方向？ k Ñf (x ) 函数值增加最快的方向 k x 函数值下降的方向 k - Ñf (x ) 函数值下降最快的方向 梯度法 （最速下降法）： 1. 搜索方向：d k = -Ñf (x k ) ,也称为最速下降方向； 2. 搜索步长: l 取最优步长, 即满足f (x k + l d k ) = min f (x k + ld k ) 。 k k l 梯度法算法步骤： 1. 给定初始点 x 1 ÎR n , 允许误差e 0 , 令k = 1 。 2. 计算搜索方向 d k = -Ñ f (x k ) ; 3. 若|| d k || £ e ,则停止计算，x k 为所求极值点；否则，求最优步长 lk 使得f (x k + lk d k ) = min f (x k + ld k ) 。 l 4. 令x k + 1 = x k + lk d k ,令k := k + 1,转2 。 例. 用最速下降法求解: min f (x) = x 2 + 3x 2 , 1 2 设初始点为x 1 = ( 2 ,1)T , 求迭代一次后的迭代点 x 2 。 解： Ñf (x ) = ( 2x 1 , 6x 2 )T , 1 1 T \ d = -Ñf (x ) = ( - 4 ,- 6) . \ x 1 + ld 1 = ( 2 - 4l ,1- 6l )T . 令 j (l ) = f (x 1 + ld 1 ) = (2 - 4l )2 + 3 ( 1- 6l )2 ， 求解 minj (l ) l