2优化方法的数学基础1.ppt

第二章 优化方法的数学基础 §2-1 方向导数与梯度 §2-2 凸集、凸函数与凸规划 §2-3 二次函数及正定矩阵 §2-4 无约束优化问题的极值条件 §2-5 有约束优化问题的极值条件 §2-1 方向导数与梯度 三元函数 在 点处沿s方向的方向导数 n元函数在点x0处沿s方向的方向导数 二、 梯度 二元函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 例题 2-1 §2-2 凸集、凸函数与凸规划 一、 多元函数的泰勒展开 多元函数泰勒展开 例题: 几个常用的梯度公式： 当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点，研究一下函数的凸性很有必要。 函数的凸性表现为单峰性。对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优点亦为全域最优点。 为了研究函数的凸性，现引入凸集的概念： 一、凸集 设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于D，则称这种集合D为n维欧氏空间的一个凸集。图2-3（a）是二维空间的一个凸集，而图2-3（b）不是凸集。 图2-3 二维空间的凸集与非凸集 X（1）、X（2）两点之间的联接直线，可用数学式表达为: 式中 为由0到1（0≤ ≤1）间的任意实数。 凸集的性质： 1）若D为凸集， 是一个实数，则集合 D 仍是凸集； 2）若D和F均为凸集，则其和（或并）仍是凸集； 3）任何一组凸集的积（或交）仍是凸集。 二、凸函数 具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或单峰函数。其数学定义是： 设 f（X）为定义在 n维欧氏空间中的一个凸集D上的函数，如果对任何实数a（0a1）以及对D中任意两点X(1)、X(2)恒有: 则f（X）为D上的凸函数，若不满足上式，则为凹函数。 凸函数的集合意义如图2-4所示： 图2-4 一元凸函数的几何意义 在凸函数曲线上取任意两点（对应于X轴上的坐标X(1)、X（2））联成一直线线段，则该线段上任一点（对应于X轴上的X(k)点）的纵坐标Y值必大于或等于该点（X(k)）处的原函数值f(X(k))。 凸函数的一些性质： 1）若 f（X）为定义在凸集D上的一个凸函数，且 a是一个正数（a 0），则 af（X）也必是定义在凸集D上的凸函数； 3）若f1(X），f2(X )为定义在凸集D上的两个凸函数，α和β为两个任意正数，则函数 afl（X）＋βf2(X)仍为D上的凸函数。 2）定义在凸集D上的两个凸函数f1(X），f2(X)，其和 f（X）=f1（X）十f2（X）亦必为该凸集上的一个凸函数； 1）若f（X）为定义在凸集D上且具有连续一阶导数的函数，则f（X）为凸函数的充分必要条件为： 对任意两点X（1），X（2），不等式 三、凸性条件 恒成立 2）设f（X）为定义在凸集R上具有连续二阶导数的函数，则f（X）在R上为凸函数的充分必要条件是海赛矩阵G(X)在R上处处半正定。 四、凸规划 对于约束优化问题 式中若F（X）、 均为凸函数，则称此问题为凸规划。 不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。 注意： 外，最简单最重要的一类就是二次函数。 在n元函数中，除了线形函数： 或 f(X)=aX+c §2-3 二次函数及正定矩阵 其中 均为常数。 若 ，X≠0 ，均有 ＞0 ，则称矩阵Q是正定的。 在代数学中将特殊的二次函数 称为二次型。 对于二次函数，我们更关心的是Q为正定矩阵的情形。 若 ，且X≠0，均