优化理论基础章算法.pdfVIP

第八章算法

第七章介绍了一般非线性规划问题的最优性条件。从理论上来说可用这些条件求得问题(NP)的最优解，

但实际上却是不切实可行的，因为利用最优性条件求解(NP)时一般需求解一个非线性方程组，这本身也是一

个问题，通常无法得到其精确解即解析解。因此，求解非线性规划问题一般采用数值计算的方法，即

采用迭代的方法。

本章介绍关于算法的一些概念，为以后各章具体研究算法做准备。

§1算法概念

考虑非线性规划问题：

minf(x)

(NP)

s.t.xS

其中约束集SXRn，目标函数f:X→R。当SRn时(NP)是无约束优化问题，否则是约束优化问

题。

1.1算法映射

求解(NP)的最常见的数值计算方法是迭代下降算法，即从一个选定的初始点x1S出发，按照一定的

迭代规则A由xk产生xk+1A(xk)S，满足f(xk+1)f(xk)，从而得到序列{xk}S。其中的迭代

规则A是点到集合的映射，它将S中的点映射到S的子集，在此称A为算法。

一般把满足(NP)的某些最优性条件的点的集合定义为(NP)的解集合，记作。例如，对无约束优化问

题，可由平稳点组成；对约束优化问题，可由K-T点组成或由FJ点组成。当迭代点属于时，就停

止迭代，否则继续迭代。则以A为算法和以为解集合的求解(NP)的算法如下：

求解(NP)的A算法：

1.初始步。给出初始点x1S。令k=1。

2.终止判别。若xk，则停止迭代，输出xk，否则转3。

3.得到新迭代点。令xk+1A(xk)，k=k+1，转2。

1.2基本下降算法

当有了迭代点xk后，为了产生xk+1A(xk)，我们可先构造搜索方向dk，再确定步长，由此得到

k

新的迭代点xk+1xk+dk。当A为下降算法时，f(xk+1)f(xk)，即

k

f(xk+dk)f(xk)(1.2.1)

k

为保证满足(1.2.1)的k0存在，要求搜索方向dk满足条件

f(xk)Tdk0(1.2.2)

1

由此得到求解(NP)的基本下降算法。

求解(NP)的基本下降算法：

1.初始步。给出初始点x1S。令k=1。

2.终止判别。若xk，则停止迭代，输出近似最优解xk，否则转3。

3.构造搜索方向。按照一定规则，构造(NP)在xk处的可行方向dk，使f(xk)Tdk0。

4.确定步长。以xk为起点，沿方向dk寻找适当的步长，使xk+dk