优化方法的数学基础讲义.pptVIP

第二章 优化方法的数学基础;;§2-1 方向导数与梯度;O;三元函数 在 点处沿s方向的方向导数;n元函数在点x0处沿s方向的方向导数 ;二、 梯度;梯度的模： ; 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。;多元函数的梯度; 函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。 ;梯度两个重要性质： 性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直； 性质二 梯度方向是函数具有最大变化率的方向。;例题 2-1;例2-2：试求目标函数 在点 处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。;几个常用的梯度公式：;外，最简单最重要的一类就是二次函数。;其中 均为常数。;;定理： 若二次函数 中Q正定，则它的等值面是同心椭球面族，且中心为; 前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法，当用于一般目标函数时，至少在极小点附近同样有效。因此在最优化理论中判定一个算法好坏的标准之一，是把该算法用于Q为正定的二次目标函数，如能迅速找到极小点，就是好算法；否则就不是太好的算法。;一、 二元函数的泰勒展开;;;对二次函数：;二、多元函数泰勒展开;;例题: ; ;;图2-4 二元函数的极值点;图2-5 驻点不是极值点而是鞍点;无约束优化问题的极值必要条件 ;根据二元函数的泰勒展开式和极值的必要条件;极值的充分条件，即要求;例题：求函数 的极值。;再根据极值的充分条件，判断此驻点是否为极值点。;对于多元函数 ，若在 点处取得极值，则 极值的必要条件为; 当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点，研究一下函数的凸性很有必要。 函数的凸性表现为单峰性。对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优点亦为全域最优点。 ;一、凸集;X（1）、X（2）两点之间的联接直线，可用数学式表达为:;; ;凸函数的集合意义如图2-4所示：;凸函数的一些性质：;1）若f（X）为定义在凸集D上且具有连续一阶导数的函数，则f（X）为凸函数的充分必要条件为： 对任意两点X（1），X（2），不等式;四、凸规划;凸规划的一些性质：; 不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。;在满足约束方程 ：;一. 优化设计最优解;二. 有约束问题最优点的几种情况;有适时约束 目标函数是非凸函数（图 a），或可行域是非凸集（图 b）：; 对于约束最优化问题，除了需要解决“判断约束极值点存在条件”这一问题外，还应解决“判断所找到的极值点是全域最优点还是局部极值点”这一更复杂的问题。对于后一问题，虽然多年来有许多人进行大量的研究，但至今还没有一个统一而有效的方法。;对于求目标函数的极小化问题，当沿某个可行方向向量s作出微小移动时，其目标函数的变化为;; 相反，当从 x(k)点出发，存在一个 S 方向能同时满足： 和 时，则 x(k) 不是最优点。;2. 有二个适时约束时：;相反，不符合以上条件：;3. K-T 条件（扩展至 m 个适时约束）：;库恩—塔克条件的几何意义是: 在约束极小值点 处，函数 的负梯度一定能表示成所有起作用约束在该点梯度（法向量）的非负线性组合。;同时具有等式和不等式约束的优化问题 :; K-T条件是