最优化方法及控制应用.ppt

常用无约束最优

化方法

l3.1最速下降法

l3.2Newton法

l3.3修正Newton法

l3.4共轭方向法

l3.5共轭梯度法

l3.6变尺度法

l3.7坐标轮换法

l3.8单纯形法

•本章开始讨论多维无约束最优化问题

minf(X)3.1

其中f：RnR1．这个问题的求解是指在Rn中找一点X，*使得对于

任意的XRn都有

f(X*)f(X)3.2

成立，则点X*就是问题（3.1）的全局最优点

•但是，大多数最优化方法只能求到局部最优点，即在Rn中找到

一点X*，使得式（3.2）在X*的某个领域中成立．

•这个矛盾对于实际问题一般容易解决．根据问题的实际意义多

半可以判定用优化方法求出的局部最优解是否为全局最优

解．而在理论上这是个比较复杂的问题。

常用无约束

最优化方法

l无约束优化方法是优化技术中极为重要

和基本的内容之一．它不仅可以直接用

来求解无约束优化问题，而且很多约束

优化问题也常将其转化为无约束优化问

题，然后用无约束优化方法来求解．

l另外，有些无约束优化方法只需略加处

理，即可用于求解约束优化问题．

常用无约束最优化方法

一．无约束优化理论发展较早，比较成熟，方法也很多，新的方法还在陆续出现．把这些方法归纳

起来可以分成两大类：一类是仅用计算函数值所得到的信息来确定搜索方向，通常称它为直接搜索

法，简称为直接法，另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方向，这一

类方法称为间接法（解析法）．

二．直接法不涉及导数、Hesse矩阵，适应性强，但收敛速度较慢；间接法收敛速度快，但需计算

梯度，甚至需要计算Hesse矩阵．

三．一般的经验是,在可能求得目标函数导数的情况下还是尽可能使用间接方法；相反,在不可能求

得目标函数的导数或根本不存在导数的情况下,当然就应该使用直接法．

最速下降法

X0

{X}

Xk1XktkPkAk

对于问题（3.1）为了求其最优解，按最优化算法的基本思想是从

一个给定的初始点出发，通过基本迭代格式，按照特

定的算法产生一串点列，如果点列收敛，则该点列的极限点

为问题（3.1）的最优解．

最速下降法

XXtP

k1kkkPk

f(X)Pkf(Xk)

一．最速下降法基本原理

tk

l在基本迭代格式中，每次迭代搜索

方向取为目标函数的负梯度方向，

即，而每次迭代的步长取为最优

步长，由此所确定的算法称为最速下降法。

为了求解问题（3.1），如图所示，假定我

kk们已X经k迭代了次X获k得了第个迭代

点．现在从出发，可选择的下降