2优化的数学基础1.pptVIP

优化的数学基础 本章内容 优化问题分单变量和多变量，有约束和无约束，线性和非线性问题。 无约束优化就是数学上的无条件极值，约束优化就是数学上的条件极值。 我们常见的是非线性规划问题。 本章是回顾相关的数学基础，讨论约束最优化的条件等问题 第一节 多元导数的方向导数与梯度 偏导数：函数对于一个自变量的变化率 一个二元函数在 处的偏导数 一个二元函数在 处的沿方向d的导数 一个二元函数在 处的沿方向d的导数 同理，三元函数的方向导数 二元函数的梯度 令： 方向导数的几种形式： 多元函数的梯度 d方向上的方向导数 多元函数的泰勒展开 第二节 无约束优化的极值条件 该条件反映了函数在 处的各阶主子式大于0 多元函数的极小值充分必要条件 凸集 凸函数 函数的凸性条件 凸规划 这三个性质如图所示 凸集的性质 函数 如果在连接其凸集定义域内任意两点 、 的线段上，函数值总小于或等于用 及 作线性内插所得的值，那么称 为凸函数。用数学语言表达为 * * 图2-1 二维空间中的方向导数 多元函数的方向导数 图2-2 三维空间中的方向 称为函数在 处的梯度。 令： 图2-3 梯度方向与等值线的关系 当在 平面内画出 的等值 线 可以看出，在等值线的切线方向d是函数变化率为零的方向，即有 为梯度 的模。 为梯度方向单位向量，它与函数等值面 相垂直。 图2-5 梯度方向与等值面的关系 一元函数 在 点处的泰勒展开式为 其中 二元函数 在 点处的泰勒展开式为 其中 其二阶偏导数矩阵： 又称hession矩阵 将二元函数的泰勒展开式推广到多元函时，则 在 点处泰勒展开式的矩阵形式为 其中 为函数 在 点处的梯度 若将函数的泰勒展开式只取到线性项，即取 则 是过 点和函数 所代表的超曲面相切的切平面。 对于二元函数 ，若在 点处取得极值，其必要条件是 现在建立极值的充分条件。 根据二元函数 在 点处的泰勒展开式，考虑上述极值必要条件，有 设 则 即要求: 或表示为 正定 函数的极小点和最小点 第三节 凸集、凸函数与凸规划 图2-7 下凸的一元函数 一个点集（或区域），如果连结其中任意两点 和 的线段全部包含在该集合内，就成该点集为凸集，否则称非凸集。凸集的概念可以用数学的语言简练地表示为：如果对一切 ， 及一切满足 的实数 ，点 ，则称集合 为凸集。凸集既可以是有界的，也可以是无界的。n维空间中的 维子空间也是凸集（例如三维空间中的平面）。 图2-8 凸集与非凸集 凸集具有以下性质： （1）若A是一个凸集， 是一个实数， 是凸集A中的动点，即 ，则集合 还是凸集 （2）若A和B是凸集， 、 分别是凸集A、B中的动点，即 ， ，则集合 还是凸集。 （3）任何一组凸集的交集还是凸集。