无约束极值问题.pdf

无约束极值问题 无约束极值问题 无约束极值问题可简单表述为： minf (X) ，X Rn （n维欧氏空间） X (k+1)=X (k)+p (k) 且满足 f [X (k+1)]f [X (k)] 这样逐步迭代直至满足精度条件 ‖▽f [X (k+1)] ‖  (梯度绝对值) 1 1 无约束最优化方法 无约束极值问题的求解方法通常称为无约束最优化方法 (unconstrained optimization method) 如何选择搜索方向是无约束最优化方法的核心，且不同的 搜索方向形成不同的最优化方法。 无约束极值的求解方法包括： • 最速下降法 • 牛顿法 • 共轭梯度法 • 变尺度法 kk   ff XX 最速下降法回顾 对于无约束最优化问题： min {f (X)},X = (x , x , …, x )T 1 2 n 假设已经迭代了k次，第k次迭代点为 X ( k ) 且 f X k 0.   令X X  p ,为了让f X  f X ， k 1 k  k 1 k k     k 1 需要进行以下步骤： 最速下降法回顾 1、确定搜索方向，选取最快的下降方向 p k f (X ( k ) ) 2、确定步长  取步长 为最优步长，使得 k f (X k p ) min f (X k p ) k k k 0 求出 ，得到第 个迭代点  k 1 k X k 1 X k  p k k 直到Pf (X (k ) ) P(给定的误差值），迭代终止 最速下降法回顾 3、例子 用最速下降法求解问题 min f (X ) 4x 2 x 2 , 1 2 T T 其中X=(