第二章优化的数学基础解析.ppt

第二章 优化设计的数学基础 补充：等值（线）面： 补充：等值（线）面： 补充：等值（线）面： §2.1 多元函数的方向导数和梯度 §2.1 多元函数的方向导数和梯度 §2.2 多元函数的泰勒展开 §2.2 多元函数的泰勒展开 §2.2 多元函数的泰勒展开 §2.3 无约束优化问题的极值条件 §2.3 无约束优化问题的极值条件 例1： 例2： §2.4 凸集、凸函数与凸规划 §2.4 凸集、凸函数与凸规划 第五节 等式约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 等式约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 §2.5 约束优化问题的极值条件 掌握的要点 什么是梯度？梯度方向？ 为什么要做泰勒展开？ 海赛矩阵是什么？正定的条件是什么？ 无约束目标函数的极值点存在条件？ 什么是凸集、凸函数、凸规划？ 凸函数的判定条件? 函数的凸性与局部极值及全域最优值间的关系 约束目标函数的极值点存在条件？ 1. 有一个适时约束时： 从几何上看，当从 x (k)点出发不存在一个 S 方向能同时满足: 与x(k)点目标函数的负梯度方向成锐角，即沿 S 方向目标函数值下降； 与x(k)点约束函数的梯度方向成钝角，即保证 S方向上各点在可行域内。 此时，获得最优解 x(k) 为最优点 x*， f(x(k))为最优值 f(x*)。 从几何上看，当从 x(k)点出发存在一个 S 方向能同时满足： 与x(k)点目标函数的负梯度方向成锐角，即沿 S 方向目标函数值下降； 与x(k)点约束函数的梯度方向成钝角，即保证 S方向上各点在可行域内。 此时，x(k)不是最优点 x*。 2. 有二个适时约束时： x(k)成为约束最优点 x* 的必要条件为: 几何上 位于 和 所张的扇形子空间内。 即不存在一个 S 方向能同时满足： 相反，不符合以上条件： 不能表达成 和 的线性组合。 几何上 不位于 和 所张的扇形子空间内。则 x(k) 点不是最优点。 即存在一个 S 方向能同时满足： 凸函数的性质： 若f(x)是定义在凸集D上的严格凸函数，则f(x)在D上的一个极小点，也就是全局最小点。 凸函数的线性组合仍然为凸函数。 设x(1), x(2)为凸函数 f(x)上的两个最小点，则其连线上的任意点也都是最小点。 三、凸性条件（判别函数为凸函数） 1.根据一阶导数（函数的梯度）来判断函数的凸性 设f(x)为定义在凸集R上，且具有连续的一阶导数 的函数，则f(x)在R上为凸函数的充要条件是对凸 集R内任意不同两点 ，不等式 恒成立。 设f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件： Hesse矩阵在R上处处半正定。 若Hesse矩阵处处正定，则f(x)为严格凸函数。 2.根据二阶导数（ Hesse矩阵)来判断函数的凸性 四、凸规划 对于约束优化问题 若 都为凸函数，则此问题为凸规划。 凸规划的性质： 1.若给定一点 ，则集合 为凸集。 2.可行域 为凸集。 3.凸规划的任何局部最优解就是全局最优解。 当f(x)为二元函数时，其等值线呈现大圈套小圈形式。 总结： 第五节 等式约束优化问题的极值条件 约束优化 等式约束 不等式约束 求解这一问题的方法 消元法 拉格朗日乘子法 一、消元法（降维法） 以二元函数为例讨论。 基本思想：根据等式约束条件将一个变量x1表示 成另一个变量x2的函数关系 。然后将这 一函数关系带入到目标函数 中消去x1， 使目标函数变成一元函数这就将等式约束转化 为无约束优化问题。对于n维，有几个等式约束就 可以消去几个变量。 二、拉格朗日乘子法（升维法） 对于具有L个等式约束的n维优化问题 处有 第五节 等式约束优化问题的极值条件 基本思想：通过增加变量将等式约束优化 问题变成无约束优化问题： 拉格朗日函数 待定系数 新目标函数的极值的必要条件 将原来的目标函数作如下改造： 例2-4 用拉格朗日乘子法计算在约束条件 的情况下，