非线性计划问题的两种方法.docxVIP

非线性计划问题的两种方法 非线性计划问题的两种方法 非线性计划问题的两种方法 第一章 非线性规划问题的基础观点 1.1 非线性规划问题的简介 非线性规划问题时形成于二十世纪五十年月的新兴学科，是运筹学的一个重要 分支 [1] 。库恩和塔克于 1951 年发布的对于最优性条件 ( 以后称为库恩－塔克条件，又称为 K-T 条件 的论文是非线性规划正式出生的一个重要标记。非线性规划问题主要研究的是在线性或非线性的拘束函数条件下线性或非线性的 目标函数的最优化问题，典型的应用领域包含预告、生产流程的安排、库存控制、质量控制、过程设计等诸多方面。特别是在近来三十多年，非线性规划的发展很快，不停有研究者提出各样新的算法，并其的应用范围也愈来愈宽泛，比如在各样预告、管理方面、最优设计、质量控制、系统控制等领域。 共轭梯度法简介 共轭梯度法一开始是 1908 年由 Schmidt 引入梯度类方法计算效率高 , 特别是 Hestenes 和 Stiefel 在大概 1951 年经过不停的改良 , 而且和统计类反演方法联合形成了统计加迭代的组合反演方法 , 除去了依靠于初始猜想的弊端 , 成了一种广受欢迎的反演方案。共扼梯度法拥有结构简单 , 计算量小 , 储存量少且结构搜 索方向不需要求解线性方程组以及算法拥有二次停止性等长处 , 所以该算法是最优化方法中相对较好的一种方法 , 特别是在求解大规模无拘束最优化间题时更是获取了宽泛的应用 变尺度法简介 变尺度法是近 30 多年来发展起来的，它是求解无拘束极值问题的一种有效方法。因为它既防止了计算二阶导数矩阵及其求逆过程，又比梯度法的收敛速度快，特别是对高维问题拥有明显地优胜性，因此使变尺度法获取了更高的名誉，到现在仍被公认为求解无拘束极值问题最有效的算法之一。 第二章 共轭梯度法 前言 共轭梯度法是介于最速降落法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但战胜了最速降落法收敛慢的弊端，又防止了牛顿法需要储存和计算 Hesse 矩阵并求逆的弊端，共轭梯度法不单是解决大型线性方程组最实用的方法之一，也是解大型非线性最优化最有效的算法之一 . 1）最先是由计算数学家 Hestenes 和几何学家 Stiefel 于 1952 年 为求正定系数 矩阵 线性方程 组而独立 提出的 . 他 们合作的 有名 文章 Method of conjugate gradients for solving linear systems 被认为是共轭梯度法的奠 基性文章。 2） 1964 年， Fletcher 和 Reeves 将此方法推行到非线性最优化，获取了 求解一般函数极小值的共轭梯度法 . （3）共轭梯度法的收敛性剖析的初期工作主要由 Fletcher 、 Powell 、 Beale 等学者给出 . （4） Nocedal 、 Gilbert 、 Nazareth 、 Al-Baali 、 Storey 、 Dai 、 Yuan 和 Han等学者在收敛性方面获取了许多新成就 . 共轭梯度法 conjugate gradient method, CG ）是以共轭方向 conjugate direction ）作为搜寻方向的一类算法。 CG 法是由 Hesteness 和 Stiefel 于 1 / 8 1952 年为求解线性方程组而提出的。以后用于求解无拘束最优化问题，它是一种重要的数学优化方法。这类方法拥有二 次停止性。 基来源理 因为 ，故有 但 故 2-1 ） 任取初始近似点 ，并取初始搜寻方向为此点的负梯度方向，即 沿射线 进行一维搜寻，得 算出 ，因为 进而可知 和 正交 这里假定 和 均不等于 零）。 和 组成一正交系，我们能够在由它们生成的二维子空间 中追求 。 为此，可令 式中为待定系数，欲使与与 A 共轭，由式，一定 故 令 由此可得 认为搜寻方向进行最优一维搜寻，可得 算出，假定，因和为 A 共轭，故 但 故 因为 2 / 8 全部 即和组成一正交系。现由它们生成的三维子空间中，追求与和为 A 共轭的 搜寻方向。令 式中和均为待定系数。因为应与和为 A 共轭，故须 进而 解之得 令，则，于是 持续上述步骤，可得一般公式以下： 对于正定二次函数来说，由式 因为进行的是最优一维上述，故有 进而 这样，即可得共轭梯度法的一组计算公式以下： 此中为初始近似， 因为以及，故式也能够写成 共轭梯度法的算法 1）选择初始近似，给出同意偏差 2）计算并用式和式算出。 3）一般地，假定已得出和，则克计算其第 k+1 次近似： 4）若，停止计算，即为要求的近似解。不然，若，则用式和式计算和，并转向第 3）步。 数值实验 求下述二次函数的极小点： 解 将化成式的形式，得 现从开始，因为 故