最优化理论与方(非线性优化的基本理论).pdf

第三章 非线性优化的基本理论 线性规划问题的目标函数是线性函数且约束 条件是线性等式或不等式，但在实际问题的数学 模型的目标函数或约束条件中常含有非线性函数， 这样的最优化问题称为非线性规划问题，又称为 非线性优化问题。 半个多世纪以来，非线性优化理论与方法得 到了长足的进展，已成为优化学科的重要分支， 在优化设计、系统控制和管理科学等领域得到广 泛应用。 第三章 非线性优化的基本理论 3.1 方向导数与梯度     具有n个 自变量的函数: f X f x , x ,  , x , 2 n         T 在 0  0 0 0  点的一阶偏导数记为 X x , x ,  , x 1 2 n  0   f X Si , i 1,  , n 它是一个标量。 x i 函数的偏导数仅仅描述了函数沿其 自变量所在坐标轴的特定 方向上的变化率。在许多实际问题中，常常需要知道函数沿其它 任一方向上的变化率。对这样的问题就要借助于函数的方向导数 来描述。 3.1.1 方向导数   0 二元函数在点 处沿某一方向S的方向导数 x          0 0   0 0  f f x x ,x x f x ,x   lim 1 1 2 2 1 2 0 S x S0 S 方向导数实质上是偏导数 概念的推广，其关系为： x2 S x f   f   cos  f   cos s x2 x 0 x 0 1 x 0 2 x0 s x x x20 1 2 2 x1 1