2最优化设计的数学基础.ppt

最优化设计的数学基础 向量与矩阵 n个有序的数x1,x2,…,xn所组成的数组成为n维向量。 n×m个有序的数aij（i=1,2,…,m,j=1,2,…,n）排成的m行n列的数表成为m行n列矩阵。 向量、矩阵之间的加、减、乘法。 方向导数 一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰，它使金属板受热．假定板上任意一点处的温度与该点到原点的距离成反比．在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？ 问题的实质：应沿由热变冷变化最骤烈的方向（即梯度方向）爬行． 方向导数的定义 p 记为 梯度的定义 梯度与方向导数 函数梯度的特征 函数在一点的梯度是由函数在该点的所有一阶偏导数组成的向量。梯度的方向是该点函数值上升最快的方向，梯度的大小就是它的模。 函数在一点的梯度方向与函数过该点的等值线的切线相垂直，或者说是该点等值线的外法线方向。 梯度是函数在一点邻域内局部性态的描述。在邻域内上升得快的方向，离开邻域后就不一定上升得快，甚至可能下降。 函数的泰勒展开 作用：将复杂的非线性函数简化成线性函数或二次函数。 多元函数f(X)在点Xk处也可作泰勒展开，展开式一般取三项，形式与一元函数展开式的前三项相似。 称为函数f(X)的泰勒二次近似式 正定二次函数 最简单的非线性函数 一般的二次函数可写为以下向量形式： 其中：B是常数向量，相当于函数梯度；H为n阶常数矩阵，相当于函数的二阶导数矩阵。XTHX称为二次型。 矩阵有正定、负定、不定之分。 对于任意非零向量X： 若有XTHX 0，则称矩阵H是正定矩阵； 若有XTHX 0，则称矩阵H是负定矩阵； 若有时XTHX 0，有时XTHX 0，则称矩阵H是不定矩阵。 矩阵的正定性还可通过矩阵的各阶主子式进行判断。 正定二次函数的性质 正定二次函数的等值线（面）是一族同心椭圆（球）。椭圆（球）族的中心就是该二次函数的极小点。 非正定二次函数在极小点附近的等值线（面）近似于椭圆（球）。 无约束问题的极值条件 一元函数极值 必要条件：函数在该点的一阶导数为零 充分条件：对应的二阶导数不等于零 多元函数f(X)在点Xk取得极小值 必要条件：函数在该点的梯度为零 充分条件：函数的二阶导数矩阵正定 约束问题的极值条件 约束问题的极值形态众多 讨论等式约束和不等式约束两种情况 等式约束问题的极值条件 等式约束 Min f(X) S. t. hv(X)=0 可建立如下拉格朗日函数 令 上式是等式约束问题在点X取得极值得必要条件。概括为：在等式约束的极值点上，目标函数的负梯度等于诸约束函数梯度的非零线性组合。 不等式约束问题 Min f(X) S. t. gu(X)=0 引入p个松弛变量xn+u=0，可将问题变为约束问题 Min f(X) S. t. gu(X)+X2n+u=0 极值条件 不等式约束问题的极值条件，其意义可概括为：在不等式约束问题的极小点上，目标函数的负梯度等于起作用约束梯度的非负线性组合。其几何意义是在不等式约束问题的极小点上，目标函数的负梯度位于起作用约束梯度所成的夹角或锥体之内。在非极小点上，目标函数的负梯度位于起作用约束梯度所成的夹角或锥体之外。 上面两式称为k-t条件。是约束问题极值得必要条件。 一般情况下，满足k-t条件的点（k-t点）就是约束问题的最优点。 K-t条件可用作约束问题的终止条件，也可用来直接求解简单的约束最优化问题。