[高等教育]第2章 优化方法的数学基础.ppt

第二章 优化方法的数学基础 §2-1 方向导数与梯度 §2-2 凸集、凸函数与凸规划 §2-3 二次函数及正定矩阵 §2-4 无约束优化问题的极值条件 §2-5 有约束优化问题的极值条件 §2-1 方向导数与梯度 三、 函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向， 而梯度的模就是函数变化率的最大值 。 多元函数的梯度： 例3: 例4 §2-2 凸集、凸函数与凸规划 一、 多元函数的泰勒展开 多元函数泰勒展开: 例题: 二、无约束优化问题的极值条件 2. 处取得极值充分条件 §2-5 约束优化问题的极值条件 不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件 对于一般约束优化问题： K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 对于目标函数和约束函数都是凸函数的情况， 符合K-T条件的点一定是全局最优点。这种情况K-T条件即为多元函数取得约束极值的充分必要条件。 三、凸规划 对于约束优化问题 式中若F（X）、 均为凸函数，则称此问题为凸规划。 凸规划的一些性质： 2）凸规划问题中的任何局部最优解都是全局最优解； 3）若F（X）可微，则X*为凸规划问题的最优解的充分必要条件为： 对任意 ，对满足 1）可行域 为凸集； 不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。 注意： 外，最简单最重要的一类就是二次函数。 在n元函数中，除了线性函数： 或 f(X)=aX+c §2-3 二次函数及正定矩阵 其中 均为常数： 其向量矩阵表示形式是： 二次函数的一般形式为： 其中 Q= b= Q为对称矩阵 若 ，X≠0 ，均有 ＞0 ，则称矩阵Q是正定的。 若 ，且X≠0，均有 ＜0，则称Q是负定的。 定义：设Q为n×n对称矩阵 在代数学中将特殊的二次函数 称为二次型。 对于二次函数，我们更关心的是Q为正定矩阵的情形。 解：对称矩阵Q的三个主子式依次为： 例：判定矩阵Q= 是否正定 一个n×n对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。 一个n×n对称矩阵Q是负定矩阵的充要条件是矩阵Q的各阶主子式的值负、正相间。 因此知矩阵Q是正定的。 定理： 若二次函数 中Q正定，则它的等值面是同心椭球面族，且中心为 前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法，当用于一般目标函数时，至少在极小点附近同样有效。 特别地若算法对于Q为正定的二次目标函数能在有限步内找出极小点来，就称此算法为二次收敛算法，或具有二次收敛性。 这族椭球面的中心 是二次目标函数的唯一极小点。 求函数极值问题中，对复杂的问题，常用简单函数来逼近，最简单最重要的一类就是二次函数。 §2-4 无约束优化问题的极值条件 一元函数的泰勒展开 二元函数： 二元函数：在点Xk处 海色矩阵 （Hessian） 对二次函数： 为二次函数的海色（Hessian）矩阵，常量矩阵。 例：求目标函数 的梯度和Hesse矩阵。 解：因为 则 又因为： 故Hesse阵为： 用泰勒展开将函数 在点 简化成线性函数与二次函数。 解：函数在点 的函数值、梯度和二阶导数矩阵： 简化的线性函数: 简化的二次函数: 1.F(x)在 处取得极值，其必要条件是: 即在极值点处函数的梯度为n维零向量。 函数的梯度为零的条件仅为必要的，而不是充分的。 则称 为f的驻点。 定义：设