工程最优化第三章.ppt

第三章 非线性规划的几个基本概念 多元函数的Taylor展开 无约束问题的最优性条件 约束问题的最优性条件 最优化的数值计算方法 要点：方向导数、下降方向、无约束函数极值的必要条件、 平稳点、 可行方向、几何最优性条件、起作用约束、 K－T定理、K－T点、下降迭代算法、算法的收敛性 §3.1 多元函数泰勒(Taylor)的展开公式 n元函数f(x1, x2, …,xn)在点x(0)=[ x1, x2, …,xn]T附近展开到 二次项 的Taylor公式为 余 项 其中 ?x＝x－x(0) = [x1－x1(0),…, xn－xn(0)]T = [?x1,…, ?xn]T (1) 梯度 是向量 ?f(x(0)) 梯度的重要性质： 几个常用函数的梯度 ① f(x) = b1x1+…+bnxn = BTx ?f(x) = [b1, b2, …, bn]T =B ② f(x) = x12+…+xn2 = xTx ?f(x) = [2x1, 2x2, …, 2xn]T =2x ③ f(x) =xTAx (aij = aji) ?f(x) =2Ax ④ f(x) = c+BTx+1/2xTAx ?f(x) =B+Ax x(0) ?f(x(1)) x(1) 点x(0)处的梯度方向与过该点的等值面垂直。 (2) 二阶导数矩阵―Hesse矩阵 记为 H(x) n元函数f(x1, x2, …,xn)的Taylor展开公式的矩阵形式 梯 度 H(x) §3.2 方向导数与最速下降方向 （一）方向导数 定义：设p为从x(0)出发的某单位向量，称函数f(x)在点x(0)处 沿方向p的变化率为f(x)在点x(0)处沿方向p的方向导数 f(x) x(0) θ P ?f(x(0)) （二）最速下降（上升）方向 称方向导数小于零的方向为下降方向, 方向导数大于零的方向为上升方向。 最速上升方向为梯度方向?f(x(0))，最速下降方向为负梯度方向 － ?f(x(0)) 由于 上升方向 下降方向 变化率为0 ?f(x(0))最速上升方向 － ?f(x(0)) 最速下降方向 x(0) 称 为点x(0)处的下降方向集合 §3.3 局部最优与全局最优 （一）局部最优 定义：设f(x)是定义在可行域S上的一个函数，若存在S中的点x* 及其一个?邻域N?(x*)，使得对任意x? N?(x*)，都有 ?f(x*) = f(x)－f(x*)?0 称x*为f(x)的局部最小点或极小点；称f* ＝f(x*)为局部最小值 （二）全局最优 定义：若存在S中的点x**，使得对所有x? S，都有 ?f(x**) = f(x)－f(x**)?0 称x**为f(x)的全局部最小点或整体最小点；称f** ＝f(x**)为 全局最小值 x f(x) x1 x2 x3 x4 x5 x6 a b §3.4 无约束问题的最优性条件 研究最优性条件的目的： 约定：实际问题目标函数可能不连续或导数不存在，甚至是 离散函数，最优点可能在不连续点或导数不存在的点。 以下讨论时假定f(x)处处连续可导. （1）用以求最优点； （2）用以判定给定点是否为最优点； （3）优化方法的基础。 （一）无约束函数极值的必要条件 若x*是f(x)的局部最小（大）点，则在x*处必有 以及Hesse矩阵 是半正定（半负定）的。 此条件仅是必要的，即对导数存在的点，若不满足上述条件， 肯定不是极值点。但满足此条件，不一定是极值点. 定义：对可微函数f(x), 使 的点为平稳点（或驻点、 定点） 对一元函数，两个条件变为 f ’(x)＝0及f ”(x)?0 . 极值点的候选点 平稳点 导数不存在的点 由必要条件可得“有资格”成为最优的点, 如果有充分条件该有多好!!! 如 f(x)=x3 , 当 x = 0时，满足上述两个条件，但不是极值点。