最优化优化设计的数学基础.pptVIP

2、拉格朗日乘子法（升维法） §2.5 等式约束优化极值条件 n+l个方程 n+l个未知变量 例:用拉格朗日乘子法求下列问题的最优解 解 构造拉格朗日函数 令▽L=0,得到 求解得： 一、一元函数在给定区间上的极值条件 §2.6 不等式优化极值条件 引入松弛变量a1,b1，将不等式约束变成等式约束。 根据拉格朗日乘子法，此问题的极值条件： §2.6 不等式优化极值条件 二 、库恩－塔克条件： §2.6 不等式优化极值条件 J代表所有起作用的约束 在约束的极小值处，函数 f(x)的负梯度方向一定能表示成所有起作用约束梯度的非负线性组合 库恩－塔克条件的几何意义 §2.6 不等式优化极值条件 Xk为最优点 Xk不是最优点 x1 x2 0 可行域 Xk ▽g1(Xk) ▽g2(Xk) 点Xk处的切平面 -▽f(Xk) f(X)=C g2(X)=0 g1(X)=0 x1 x2 0 点Xk处的切平面 ▽g1(Xk) ▽g2(Xk) -▽f(Xk) g2(X)=0 g1(X)=0 f(X)=C xk K-T条件的作用： 判别边界设计点 x(k) 为最优点的依据 作为约束优化的收敛条件。 x1 x2 0 ▽g1 ▽g3 -▽f -▽f -▽f ▽g1 ▽g2 ▽g2 ▽g3 f =5 f =4 f =2.25 f =1 f =0.25 g2(X) = 0 g3(X) = 0 g1(X) = 0 A B C 本章结束 Thank You！ 第二章优化设计的数学基础 2.1 多元函数的导数与梯度 2.4 凸集、凸函数与凸规划 2.2 多元函数的泰勒展开 2.3 无约束优化极值条件 2.5等式约束优化极值条件 2.6 不等式约束优化极值条件 §2.1 多元函数的导数与梯度 一、方向导数 二元函数f(x1，x2)在X (0)的偏导数为： 分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。 f(X)在X0点沿d方向的方向导数: §2.1 多元函数的导数与梯度 表示沿d方向在X (0)处的f(X)变化率。 Δd d θ2 Δx2 Δx1 x1 x2 0 x1(0) x2(0) X (0) θ1 n维函数f(X)在X (0)点沿d方向的方向导数: §2.1 多元函数的导数与梯度 x1 x2 x3 x2(0) x1(0) x3(0) 0 X (0) θ2 θ1 d θ3 二、梯度 对于二维函数f(X)在X (0)点处的梯度: 设 为d方向的单位向量，则有 §2.1 多元函数的导数与梯度 投影形式： §2.1 多元函数的导数与梯度 方向导数最大值发生在 : 结论: d方向取梯度方向时,函数值的变化率最大。 可见梯度方向是函数值变化最大的方向 §2.1 多元函数的导数与梯度 x1 x2 0 -▽f(X (0)) ▽f(X (0)) 最速上升方向 最速下降方向 下降方向 上升方向 d: 等值线的切线方向， X (0) 函数值变化率为零的方向 进一步推导到n维: 沿d方向的方向向量 即 §2.1 多元函数的导数与梯度 梯度重要性质： ① 梯度是 X (0)点处最大的 方向导数； ② 梯度方向是过点的等值 线的法线方向； ③ 梯度是X (0)点处的局部 性质； ④ 梯度指向函数变化率最 大的方向； ⑤ 正梯度方向是函数值最 速上升的方向，负梯度 方向是函数值最速下降 的方向。 §2.1 多元函数的导数与梯度 x1 x2 0 X (0) ▽f(X (0)) -▽f(X (0)) 最速上升方向 最速下降方向 下降方向 上升方向 变化率为零的方向 例:求函数f(X)=x12+x22-4x1+4 在点[3,2]T 的 梯度。 在点X(0)=[3,2]T处的梯度为： 解： §2.1 多元函数的导数与梯度 例：试求目标函数 f(X)=3x12-4x1x2+x22 在点 X (0)=[0, 1]T 处的 最速下降方向，并求沿这个方向移动一个单位长度后 新点的目标函数值。 函数在X (0)=[0, 1]T 处的最速下降方向是 解： 由于 §2.1 多元函数的导数与梯度 新点是 这个方向上的单位向量是： §2.1 多元函数的导数与梯度 §2.2 多元函数的泰勒展开 一元函数泰勒展开: 二元函数泰勒展开: §2.2 多元函数的泰勒展开 二元函数泰勒展开矩阵形式: 其中: 称为海赛（Hessian）矩阵 §2.2 多元函数的泰勒展开 n元函数泰勒展开矩阵形式: §2.3 无约束优化问题的极值条