第三单元 无约束优化的数学基础.pptVIP

无约束优化的数学基础 第一节 多元函数的方向导数与梯度 偏导数：函数对于一个自变量的变化率 一个二元函数在 处的偏导数： 一个二元函数在 处的沿方向d的导数 一个二元函数在 处的沿方向d的导数 同理，三元函数的方向导数 二元函数的梯度 令： 方向导数的几种形式： 多元函数的梯度 d方向上的方向导数 第三节、多元函数的泰勒展开 例: 该条件反映了海赛函数在 处的各阶主子式大于0 推而广之，多元函数的极小值充分必要条件 （二）凸函数 （三）函数的凸性条件 （四）凸规划 例：求目标函数f（X）= 的梯度和Hessian矩阵。 解：因为 则 又因为： 故Hessian阵为： 用泰勒展开将函数 在点 简化成线性函数与二次函数。 解：函数在点 的函数值、梯度和二阶导数矩阵： 简化的线性函数 简化的二次函数 第四节 无约束优化的极值条件 对于二元函数 ，若在 点处取得极值，其必要条件是 例： 在 处梯度为 但 只是双曲抛物面的鞍点，而不是极小点。 函数的梯度为零的条件仅为必要的，而不是充分的。 为了判断从上述必要条件求得的 是否是极值点，需建立极值的充分条件。 现在建立极值的充分条件。 根据二元函数 在 点处的泰勒展开式，考虑上述极值必要条件，有 设 则 因为： 即要求: 或表示为 正定 【例 】试证明函数 在点 处具有极小值。 解： 将 代入得 H(X(0))正定，目标函数在（2,4）处 具有极小值。 当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。 若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。 优化设计的目标是全域最优点。 函数的凸性表现为单峰性。对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优点亦为全域最优点。 第五节 凸集、凸函数与凸规划 下凸的一元函数 （一）凸集 设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于D，则称这种集合D为n维欧氏空间的一个凸集。 图a是二维空间的一个凸集，而图b不是凸集。 二维空间的凸集与非凸集 凸集的概念可以用数学的语言简练地表示为： 如果对一切 ， 及一切满足 的实数 ，点 ，则称集合 为凸集。 凸集既可以是有界的，也可以是无界的。 n维空间中的 维子空间也是凸集 （例如三维空间中的平面）。 凸集具有以下性质： （1）若A是一个凸集， 是一个实数， 是凸集A中的动点，即 ，则集合 还是凸集 （2）若A和B是凸集， 、 分别是凸集A、B中的动点，即 ， ，则集合 还是凸集。 （3）任何一组凸集的交集还是凸集。 这三个性质如图所示 凸集的性质 + 函数 如果在连接其凸集定义域内任意两点 、 的线段上，函数值总小于或等于用 及 作线性内插所得的值，那么称 为凸函数。用数学语言表达为 在凸函数曲线上取任意两点（对应于X轴上的坐标x1、x2）联成一直线线段，则该线段上任一点（对应于X轴上的x点）的纵坐标Y值必大于或等于该点（X）处的原函数值f(x)。 * * O x2 x1 x10 x20 x0 ?x1 ?x2 ?d x d ?1 ?2 多元函数的方向导数 三维空间中的方向 称为函数在 处的梯度。 令： 梯度方向与等值线的关系 当在 平面内画出 的等值 线