第二章优化设计的数学基础.pptxVIP

方向导数和偏导数之间的关系， 从下述推导可知类似的， 一个三元函数 在 点处沿d方向的方向导数和偏导数的关系如下所示，见图2-2类似的， 一个n元函数 在 点处沿d方向的方向导数其中的cos?i为d方向和坐标轴xi方向之间夹角的余弦。2、二元函数的梯度令称其为函数f(x1,x2)在x0点的梯度。设为d方向的单位向量， 则可得：`例2-1 求二元函数在x0 = [0 0]T处函数变化率最大的方向和数值。解：由于函数变化率最大的方向是梯度方向， 这里用单位向量p表示， 函数变化率最大的数值是梯度的模???f(x0)??。求f(x1,x2)在x0点处的梯度方向和数值，计算 如下三、向多元函数的推广 函数 f(x1,x2， ?, xn)在x0 (x1,x2， ?, xn)处的梯度可定义为函数 f(x1,x2， ?, xn)在x0处沿d的方向导数可表示为d方向上的单位向量梯度?f(x0)的模为梯度方向单位向量为 ，它与函数等值面 f (x) = c相垂直，也就是和等值面上过x0的一切曲面相垂直，如图2-5所示。2.2 多元函数的泰勒（Taylor)展开式 多元函数的泰勒(Taylor)展开在优化方法中十分重要，许多方法及其收敛性证明都是从它出发的。2.3 无约束优化问题的极值条件一、一元函数极值条件对于连续可微的一元函数f(x),如在x*点有极值，其必要条件为：f ’(x*)=0若x*为有极小值点，其充分条件为：f ”(x*)0若x*为有极大值点，其充分条件为：f ”(x*)02.4 凸集与凸函数与凸规划2.4.1凸集与非凸集2.5 等式约束优化问题的极值条件对于等式约束优化问题： minf(x) s.t. hk(x) = 0 (k = 1,2,?m)需要导出极值存在的条件。数学上有两种处理方法：消元法（降维法）拉格朗日乘子法（升维法）一、消元法1）二元函数只有一个等式约束 minf(x1，x2) s.t. h (x1，x2) = 0处理方法：将x1表示为x1 = ?(x2), 并代入目标函数中消去x1,变成一元函数F(x2), 则等式约束优化问题变为无约束优化问题。目标函数二维变一维,故称降维法。2）n维情况 minf(x1，x2，?，xn) s.t. hk (x1，x2 ，?，xn) = 0 (k = 1,2,?l)由l个约束方程将n个变量中的前l个变量用其余n-l个变量表示， 有 x1 = ?(xl+1,xl+2,?,xn)x2 = ?(xl+1,xl+2,?,xn)?xn = ?(xl+1,xl+2,?,xn)将这些函数关系代入到目标函数中， 得到只含有xl+1,xl+2,?,xn共n-l个变量的函数F(xl+1,xl+2,?,xn), 从而利用无约束优化问题的极值条件求解。（因为将l个约束方程联立往往求不出解来，实际上难于求解）二、拉格朗日乘子法通过增加变量将等式约束优化问题变成无约束优化问题。对于 minf(x) s.t. hk(x) = 0 (k = 1,2,?l)在极值点x*处有 (k = 1,2,?l)令可通过其中的l个方程 (a)来求解l个待定系数?1，?2，?，?l，使得l个变量的微分dx1, dx2, ?，dxl 的系数全为零。于是得到则有 (b)(j = l+1, l+2,?,n)式（a),(b)及等式约束条件 hk(x) = 0 (k = 1,2,?l) 就是点x达到约束极值的必要条件。式（a),(b)可以合并写成 (i = 1, 2,?,n)（c）令 式中 待定系数?k称为拉格朗日乘子， F(x, ?)称为拉格朗日函数。本方法称为拉格朗日乘子法。 把F(x, ?)作为一个新的无约束条件的目标函数来求解它的极值点， 所得结果就是满足约束条件的原目标函数的极值点。自F(x, ?)具有极值的必要条件：可得l+n个方程。由这些方程组求得函数f(x)的极值点x*=[x1* x2* ?xl*]T.例2-4 用拉格朗日乘子法计算极值点坐标f(x1，x2)=4x12+5x22 s.t. h (x1，x2) = 2x1+3x2-6=0解：F(x, ?)=4x12+5x22+ ? (2x1+3x2-6)?F??x1=8x1+2?=0 ? x1=-?/4?F??x2=10x2+3?=0? x2=-3?/10?F?? ? =2x1+3x2-6=0??=-30/7所以得x1=1.071， x2=1.286此即为所求极值点x*.2.6不等式约束优化问题的极值条件不等式约束的多元函数极值的必要条件是库恩-塔克（Kuhn-Tucher)条件，是非线性理论的重要基础。一、一元函数在给定区间上的极值