[2018年最新整理]2优化设计的数学基础.docVIP

第二章 优化设计的数学基础 优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。本章主要叙述与此相关的数学基础知识。 第一节 函数的方向导数与梯度 一、函数的方向导数 一个二元函数在点处的偏导数，即函数沿坐标轴方向的变化率定义为： 而沿空间任一方向S的变化率即方向导数为： 方向导数与偏导数之间的数量关系为 依此类推可知n维函数在空间一点沿S方向的方向导数为 二、函数的梯度 函数在某点X的方向导数表明函数沿某一方向S的变化率。—般函数在某一确定点沿不同方向的变化率是不同的。为求得函数在某点X的方向导数为最大的方向，引入梯度的概念。 仍以二元函数为例进行讨论，将函数沿方向S的方向导数写成如下形式 令： 称为在点X处的梯度，而同时设S为单位向量 于是方向导数可写为： 此式表明，函数沿S方向的方向导数等于向量在S方向上的投影。且当，即向量与S的方向相向时，向量在S方向上的投影最大，其值为。这表明梯度是函数在点X处方向导数最大的方向，也就是导数变化率最大的方向。 上述梯度的定义和运算可以推广到n维函数中去，即对于n元函数，其梯度定义为 由此可见，梯度是一个向量，梯度方向是函数具有最大变化率的方向。即梯度方向是函数的最速上升方向，而负梯度方向则为函数的最速下降方向。 例2-1 求二元函数在点沿和的方向导数。 解：，将代入可得，因此 而 这说明同一函数在不同方向上的方向导数不同，其变化率也不同。函数由出发，沿S1方向的变化率大于沿S2方向的变化率。所以，函数沿S1方向增长得较快。 第二节 凸集、凸函数与凸规划 如果函数在整个可行域中有两个或两个以上的极值点，则称每一个极值点为局部极值点。在整个可行域中，函数值最小的点为全域极值点。为求得全域极值点，以获得最好的可行设计方案，就需要进一步讨论局部最小点和全域最小点的关系，因而涉及到凸集、凸函数及凸规划问题。 一、凸集 设D为n维欧氏空间内的一个集合，如果D内任意两点X1和X2的连线整个都包围在D内，即对于任意实数(（），点，则称这种集合为凸集，如图2-3a所示，否则为非凸集，如图2-3b、c所示。凸集满足以下性质：若D是一个凸集，(是一个实数，则集合(D仍为凸集；若D与F均为凸集，则其和（或并）还是凸集；任何一组凸集的积（或交）还是凸集。 二、凸函数 设D为En中的一凸集，为定义在D上的一个函数，若对于任意实数(（）和D内任意两点X1和X2，恒有 则为D上的凸函数；若式中不等号反向，则为凹函数。 凸函数的几何意义如图2-4所示。若在区间内为凸函数，则曲线上任意两点A、B间（与X1和X2相对应）所连成直线上的点K’总不会落在这两点间曲线的下方，即大于相应点K的函数值。 因而，若为凸函数，则－为凹函数；线性函数既可视为凸函数，又可视为凹函数。 凸函数的性质： 1）设取为定义在凸集D的凸函数，则对于任意正实数(，函数(在D上也是凸函数； 2）设、为定义在凸集D上的凸函数，则函数在D上也是凸函数： 3）若函数在n维欧氏空间En一阶可微，则对于任意，为凸函数的充分必要条件为(其证明可参见教材p. 26) 图2-5所示为一维函数情况，其凸函数的几何意义在于函数曲线永远在切线的上面。若是凸集D上的凸函数，并且在D内有极小点，则极小点是唯一的。最优化方法中很多结论都是以函数具有凸性为前提的。 三、凸规划 对于约束优化问题 式中，若、、u＝1，2，…，n均为凸函数，则称此问题为凸规划。 凸规划的性质： 1）可行域为凸集。 2）凸规划问题的任何局部最优解都是全局最优解。 3）若可微，则为凸规划问题的最优解的充分必要条件是：对于，都满足 （该式表明在的邻域内的所有点的目标函数值均大于处的值） 但在实际应用中，要证明一个线性规划问题是否为凸规划，一般比较困难，有时甚至比求解一个优化问题还要麻烦得多，尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难以实现。因此，在优化设计的求解时，就不必花精力进行求证，而通常是从几个初始点出发，看它是否能收敛于同一点上，否则从求得的几个方案中，选取相对较好的方案，作为最优设计的结果，也就是从局部最优解的比较中来选取全局的最优解。 第三节 无约束优化问题的极值条件 优化问题的几何表达只能形象地给出最优解的有关概念，而最优解数值的求得，还得靠必要的定量计算来达到。这种运算的理论依据是函数的极值理论，因而有必要对其有关概念作必要的回顾和介绍。 多元目标函数的表达形式往往十分复杂，为了便于讨论，需用简单的函数作局部逼近，使其简化。用泰勒展开式求目标函数在某点邻近的近似表达式，则是常用的方法。 一、多元函数的泰