最优化方法IV.pdfVIP

最优化方法(IV) 张宏鑫 2015-04-28 浙江大学计算机学院 签到 1. 请关注微信公众号：RGB-Group 2. 在该公众号中回复：csmath 3. 在该公众号中回复：姓名_学号 4. 三次不同时间输入：本教室GPS 坐标（微信缺省功能） 1. 无约束非线性最优化 一. 无约束最优化问题 无约束最优化问题 min f (x ) s .t . x R n 其中f (x ) 有一阶连续偏导数。 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 二. 梯度法（最速下降法） 迭代公式： x k 1 x k   d k k 如何选择下降最快的方向？ k f (x ) 函数值增加最快的方向 k x 函数值下降的方向 k  f (x ) 函数值下降最快的方向 梯度法（最速下降法）： 1. 搜索方向：d k f (x k ) , 也称为最速下降方向； 2. 搜索步长 :  取最优步长, 即满足f (x k   d k ) min f (x k  d k ) 。 k k  梯度法算法步骤： 1. 给定初始点 x 1 R n , 允许误差  0 , 令k 1 。 2. 计算搜索方向 d k  f (x k ) ; 3. 若|| d k ||  , 则停止计算，x k 为所求极值点；否则，求最优步长 k 使得 f (x k   d k ) min f (x k  d k ) 。 k  4. 令x k 1 x k   d k , 令k : k  1, 转2 。 k 例. 用最速下降法求解 : min f (x ) x 2 3x 2 , 1 2 设初始点为x 1 ( 2 , 1)T , 求迭代一次后的迭代点 x 2 。 解： f (x ) ( 2x 1 , 6x 2 )T , 1 1 T  d f (x ) (  4 ,  6 ) . 1 1 T  x  d ( 2  4 , 1  6 ) . 令  () f (x 1  d 1 ) (2  4)2  3