第五章第二节优化设计的数学基础.ppt

5. 优 化 设 计 5.2 优化方法的数学基础 5.2.1函数的方向导数和梯度 1、函数的方向导数 实例：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有一个火焰，它使金属板受热。假定板上任意一点处的温度与该点到原点的距离成反比。在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？ 问题的实质：应沿由热变冷变化最剧烈的方向（即梯度方向）爬行． 推导出n元函数f(x)在点X( k)处沿任意给定方向S的方向导数 表达式为： 2、 梯度 1）梯度的定义 函数在点X( k)的梯度是由函数在该点的各个一阶偏导数组成的向量。 2）梯度的表达式 3、方向导数和梯度的关系 根据矢量代数的概念，方向导数的表达式可写成： 综上所述，函数的梯度具有以下性质 (1)函数在一点的梯度是一个向量。梯度的方向是该点函数值上升得最快的方向，梯度的大小就是它的模长。 (2)一点的梯度方向为过该点的等值线或等值面的切线或切平面相垂直的方向，或者说是该点等值线或等值面的法线方向。 (3)梯度是函数在一点邻域内局部性态的描述。在一点上升得快的方向，离开该领域后就不一定上升得快，甚至可能下降。 例1 求函数f(X)＝(x1－2)2十(x2－1)2在点X(1)＝[3,2]T和X( 2)＝[2,2] T的梯度并作图表示。 解：根据定义，梯度为 解：梯度的模为： 5.2.1 函数的方向导数和梯度 例题2 一般二元二次函数的矩阵式为 5.2.1 函数的方向导数和梯度 5.2.1 函数的方向导数和梯度 即 同理，推广到n元二次函数，则一般n元二次函数梯度的矩阵表达式为 5.2.2 多元函数的泰勒展开 由高等数学知、一元函数f(x)着在点xk的邻域内n阶可导，则函数可在该点的邻域内作如下泰勒展开： 5.2.2 多元函数的泰勒展开 5.2.2 多元函数的泰勒展开 例3 一般二元二次函数 5.2.2 多元函数的泰勒展开 5.2.2 多元函数的泰勒展开 5.2.2 多元函数的泰勒展开 (2)求得二阶导数矩阵为： 而且 5.2.2 多元函数的泰勒展开 5.2.3 二次函数 1、二次函数的表达式 二次函数是最简单的非线性函数，可以写成以下向量形式： 2、正定与负定的判断 1）如果矩阵H的各阶主子式均大于零，即 一阶主子式 二阶主子式 ……… n阶主子式0 则矩阵H是正定的。 5.2.3 二次函数 2）如果矩阵H的各阶主子式正负相间，即 一阶主子式 二阶主子式 ……… n阶主子式0 则矩阵H是负定的。 5.2.3 二次函数 3、极值条件 1）多元函数在点X(k)取得极小值的条件是：函数在该点的梯度为零，二阶导数矩阵为正定。 即 2）多元函数在点X(k)取得极大值的条件是：函数在该点的梯度为零，二阶导数矩阵为负定。 即 5.2.3 二次函数 例5：试求f(x1,x2)＝2x12-8x1+2x22-4x2+20的极值及极值点。 解：由极值点存在的必要条件 5.2.3 二次函数 由于其各阶主子行列式为 5.2.4 下降迭代算法 多变量、多约束的非线性优化问题，通常采用数值迭代求解，对于极小化问题，这种方法就是下降迭代算法。 1、下降迭代法的定义 按照某一迭代格式，从一个初始点X(0)出发逐步产生一个点列 X(0)、 X(1)、 X(2)、 …、X(k)、 X(k+1)、… 若该点列对应的目标函数值呈下降趋势 f(X(0)) f(X(1)) f(X(2)) … f(X(k)) f(X(k+1)) … 并且该点列对应的极限就是目标函数的极小点X*，则构成此点列的方法就是优化问题的一种数值解法，称为下降迭代算法。 5.2.4 下降迭代算法 2、下降迭代算法的基本格式 下降迭代算法的基本格式如下： 5.2.4 下降迭代算法 (2)下降迭代算法的构成需要解决的三个基本问题 1）选择搜索方向。 不同的搜索方向，构成不同的下降迭代算法。在每一类下降迭代法中包含两个关