优化设计3-3(4-2梯度).pptVIP

; 一、特点 这是一种将n维问题转化为一维 搜索的方法，在其搜索点的局部区域 内，目标函数值的下降速度最快。 优点： 算法简单，每次迭代所需的计算量小，计算机所需的内存少。以一个不很好的点也能收敛到最优解上。; 二、 基本思想 梯度是函数值变化率最大的方向。在通常的目标函数极小化的最优化设计中，负梯度方向是一个非常诱人的方向，它是函数值下降非常快的方向。 设在第k次迭代中，取得了初始点X（k） 。目标函数F(X)在 X（k）处的梯度为; 第k次迭代的搜索方向就取为X（k）点的负梯度方向 这样便得到普通的迭代公式： ; 为书写简便用 在迭代过程中，如果满足条件 迭代终止。; 注意： 迭代式中的α（k）就是最优化因子。它可以用前面介绍的一维搜索的办法???定。然而，当目标函数的海赛矩阵能求时，也可用解析的算法求得。 ; 三、迭代步骤 ①???? 给定 X0 , ε1 ，ε2 ②???? ③???? ④ ‖Xk+1 - Xk ‖≤ε1，or ‖g k‖≤ε2 ,否则回到 ③ ;梯 度 法 的 程 序 框 图; 四、计算举例 设起始点X（0） = [0，0]T ，试用梯度法求极小。 解：（1） F（X）的梯度 F （X）的海赛矩阵 ; （2）??当X（0） = [0，0]T 时，; §4.2 梯度法（最快速度下降法） ; (3) 当 时; §4.2 梯度法（最快速度下降法） ; §4.2 梯度法（最快速度下降法） ; 当 k = 7 时， 与目标函数的实际极小点非常接近。 ; §4.2 梯度法（最快速度下降法） ; 等值线为椭圆的迭代过程 等值线为圆的迭代过程 ; §4.2 梯度法（最快速度下降法） ; ;