最速下降法原理及例题实例.pdfVIP

最速下降法原理以及其算法的实现 速下降法又称为梯度法，是1847 年由著名数学家Cauchy 给出的，它是解析法中最古老 的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是 优化方法的基础。 作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少， 初始点要求不高；缺点是收敛慢，效率不高，有时达不到 优解。非线性规划研究的对象是非 线性函数的数值 优化问题。它的理论和方法渗透到许多方面，特别是在军事、经济、管理、 生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。而 速下降法正是n 元 函数的无约束非线性规划问题min f (x ) 的一种重要解析法，研究 速下降法原理及其算法实 现对我们有着极其重要的意义。 一、最速下降法基本原理 ( )无约束问题的最优性条件 无约束问题的 优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下 几个定理。 定理1 设f : Rn R 1 在点x R n 处可微。若存在p R n ，使 f (x )T p 0 则向量p 是f 在点x 处的下降方向。 定理2 设f :Rn R1 在点x R n 处可微。若x 是无约束问题的局部 优解，则 f (x ) 0 由数学分析中我们已经知道，使f (x ) 0 的点 为函数f 的驻点或平稳点。函数f 的一个驻 x 点可以是极小点；也可以是极大点；甚至也可能既不是极小点也不是极大点，此时称它为函数f 的 鞍点。以上定理告诉我们，x 是无约束问题的的局部最优解的必要条件是：x 是其目标函数f 的 驻点。 现给出无约束问题局部最优解的充分条件。 n 1 n 2 定理3 设f :R R 在点x R 处的Hesse 矩阵 f (x ) 存在。若 ，并且 2 正定 f (x ) 0 f (x ) 则x 是无约束问题的严格局部最优解。 一般而言，无约束问题的目标函数的驻点不一定是无约束问题的 优解。但对于其目标函数是 凸函数的无约束凸规划，下面定理证明了，它的目标函数的驻点就是它的整体最优解。 定理4 设f :Rn R1 ，x R n ，f 是Rn 上的可微凸函数。若有 f (x ) 0 则x 是无约束问题的整体最优解。 (二)最速下降法的基本思想和迭代步骤 速下降法又称为梯度法，是1847 年由著名数学家Cauchy 给出的。他是解析法中 古老的一 种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是 优化方法的基础。 设无约束问题中的目标函数f :Rn R1 一阶连续可微。 最速下降法的基本思想是：从当前点x k 出发，取函数f (x ) 在点x k 处下降 快的方向作为我 们的搜索方向p k . 由f (x ) 的Taylor 展式知 f (x k ) f (x k tp k ) tf (x k )T p k o(‖tpk ‖) k k 略去t 的高阶无穷小项不计，可见取p f (x ) 时，函数值下降得 多。于是，我们可以构