[工学]2优化方法的数学基础.ppt

§6.2 优化方法的数学基础 方向导数与梯度 二次函数及正定矩阵 无约束优化问题的极值条件 等式约束优化问题的极值条件 不等式约束优化问题的极值条件 优化设计问题的基本解法 一、 方向导数与梯度 n元函数在点x0处沿s方向的方向导数 （二） 梯度 二元函数的梯度 梯度的模： 多元函数的梯度 例题 2-1 （一） 多元函数的泰勒展开 多元函数泰勒展开 例2-6： （二）无约束优化问题的极值条件 2. 处取得极值充分条件 四、等式约束优化问题的极值条件 求解等式约束优化问题为： minf(x) s.t. hk(x)=0 (k=1,2,…,m) 对这一问题，在数学上有两种处理方法：消元法（降维法）和拉格朗日乘子法（升维法）。 （二）拉格朗日乘子法 对于具有l个等式约束的n维优化问题 minf(x1,x2,…,xn) s.t. hk(x1,x2,…,xn)=0 (k=1,2,…,l) 把原目标函数f(x)改造成为如下形式的新的目标函数 五、不等式约束优化问题的极值条件 （一）一元函数在给定区间上的极值条件 （二）库恩－塔克条件 不等式约束的多元函数极值的必要条件是著名的 库恩—塔克（Kuhn-Tucker）条件，它是非线性优化问 题的重要理论 （1）库恩—塔克条件 (K-T条件） 对于多元函数不等式的约束优化问题： K-T条件 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 求解优化问题的基本解法有： 运用迭代法，每次迭代所得新的点的目标函数都应满足函数值下降的要求： 2.迭代终止准则 （3）目标函数梯度准则 补1: 函数 是否有 极值，如有，求极值点，并说明是极大还是极小。 补2：验证约束优化问题 在点 库恩-塔克条件成立。 gggggggg 解得以下4个驻点： 例2-7 求函数 的极值。 解：由极值的必要条件 由极值的充分条件求函数的二阶导数矩阵，并判断其正定性得 正定 不定 不定 负定 由此知X1是函数的极小值点， X4是函数的极大值点，X2和X3均为非极值点。 对n维函数的优化问题： minf(x1,x2,…,xn) s.t. hk(x1,x2,…,xn)=0 (k=1,2,…,l) 由l个约束方程将n个变量中的前l个变量用其余n-l个变量表示，即有 （一）消元法 将这些函数关系代入到目标函数中，从而得到只xl+1,xl+2,…,xl+n共有n-l个变量的函数（n-l维），这样就可以利用无约束优化问题的极值条件求解，此法称为消元法或降维法。 式中的hk(x)就是原目标函数f(x)的等式约束条件，而待定系数?k称为拉格朗日乘子。这种方法称为拉格朗日乘子法。 在极值点处，有 共有n+l个方程，足以解出这n+l个变量，此法也称为升维法。 例2－8：用拉格朗日乘子法计算在约束条件h(x1,x2)=2x1+3x2-6=0的情况下，目标函数f(x1,x2)=4x12+5x22的极值点坐标。 则 联立得极值点x*(1.071,1.286) 解 改造的目标函数是 对于一元函数在给定区间[a, b]上的极值条件，上式中的第一式为 分析极值点x*在区间[a, b]中所处的位置，将会出现三种可能的情况 当ax*b时,μ1= μ2 =0，则极值条件为 2）当x*=a时， μ1≥0 ， μ2＝0 ，则极值条件为 3）当x*=b时， μ1 ＝0 ， μ2 ≥ 0 ，则极值条件为 库恩—塔克条件表明：如点 是函数 的极值点，要么 （此时 ） 要么目标函数的负梯度等于起作用约束梯度的非负线性组合（此时 ）。 O x1 x2 极值点处于等值线的中心 极值点处于两个约束曲线的交点上 x﹡