02优化的数学基础.pptVIP

优化的数学基础 本章内容 优化问题分单变量和多变量，有约束和无约束，线性和非线性问题。 无约束优化就是数学上的无条件极值，约束优化就是数学上的条件极值。 我们常见的是非线性规划问题。 本章是回顾相关的数学基础，讨论约束最优化的条件等问题 第一节 多元导数的方向导数与梯度 方向导数 一个二元函数在 处的偏导数 一个二元函数在 处的沿方向d的导数 同理，三元函数的方向导数 二元函数的梯度 二元函数的梯度 方向导数的几种形式： 多元函数的梯度 d方向上的方向导数 多元函数的泰勒展开 第二节 无约束优化的极值条件 该条件反映了函数在 处的各阶主子式大于0 多元函数的极值充分条件 凸集 凸函数 凸性函数 凸规划 消元法 拉格朗日乘子法 第五节 不等式约束优化的极值条件 工程上大多数问题都是不等式约束优化问题. 一元函数在一定区间的优化问题: 得到拉格朗日方程 第六节 库恩—塔克条件 将上述一元函数推广到多元函数，可以得到著名的库恩—塔克条件 库恩-塔克条件的几何意义是：在约束极小点处函数的负梯度一定能够表示成所有起作用的约束在该点梯度的非负线性组合。 凸集具有以下性质： （1）若A是一个凸集， 是一个实数， 是凸集A中的动点，即 ，则集合 还是凸集 （2）若A和B是凸集， 、 分别是凸集A、B中的动点，即 ， ，则集合 还是凸集。 （3）任何一组凸集的交集还是凸集。 这三个性质如图所示 凸集的性质 函数 如果在连接其凸集定义域内任意两点 、 的线段上，函数值总小于或等于用 及 作线性内插所得的值，那么称 为凸函数。用数学语言表达为 凸函数的定义 下面给出凸函数的一些简单性质： 设 为定义在凸集 上的一个凸函数，对任意实数 ，则函数 也是定义在 上的凸函数。 设 和 为定义在凸集 上的两个凸函数，则其和 也是 上的凸函数。 对任意两个整数 和 ，函数 也是在 上的凸函数。 设 为定义在凸集 上，且具有连续一阶导数的函数，则 在 上为凸函数的充分必要条件是对凸集 内任意不同两点 、 ，不等式 这是根据函数的一阶导数信息——函数的梯度 来判断函数的凸性。也可以用二阶导数信息——函数的海塞矩阵 来判断函数的凸性。 设 为定义在凸集 上且具有连续二阶导数的函数，则 在 上为凸函数的充分必要条件是海塞矩阵 在 上处处半正定。（证明从略） 恒成立。 对于约束优化问题 若 都为凸函数，则称此问题 为凸规划。 凸规划有如下性质： 1）若给定一点 ，则集合 为凸集。此性质表明，当 为二元函数时期等值线成大圈套小圈形式。 2）可行域 为凸集。 3）凸规划的任何局部最优解就是全局最优解。 第四节 等式约束优化的极值条件 求解等式约束优化问题： 需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。对这一问题在数学上有两种处理方法：消元法（降维法）和拉格朗日乘子法（升维法），现分别予以介绍。 为了便于理解，先讨论二元函数只有一个等式约束的简单情况，即 对于n维情况 由 个约束方程将n个变量中的前 个变量用其余 个变量表示，即有 拉格朗日乘子法是求解等式约束优化问题的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题。所以又称升维法。 对于具有 个等式约束的N维优化问题 在极值点 处有 把 个等式约束给出的 个 分别乘以 待定系数 再和 相加，得 （2-10