优化方法的数学基础.pptVIP

例2-4：求目标函数f（X）=的梯度和Hessian矩阵。解：因为则故Hessian阵为：例2-5求函数的极值。解：根据极值的必要条件求驻点得驻点再根据极值的充分条件，判断此点是否为极值点。由于其各阶主子式均大于零，H(x*)为正定矩阵，故X*=[2,4]T为极小点，极小值为F(X*)=-13。不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件，它是非线性优化问题的重要理论1库恩—塔克条件(K-T条件）对于多元函数不等式的约束优化问题：22-4有约束优化问题的极值条件(2-17)式中K-T条件可阐述为：若是一个局部极小点，则该点的目标函数梯度可表示成诸起作用约束面梯度的线性组合.即——在设计点处的起作用约束不等式约束面数；——非负值的乘子，也称为拉格朗日乘子。010302Ox1x2极值点处于等值线的中心极值点处于两个约束曲线的交点上x﹡g1(x)＝0g2(x)＝0g3(x)＝0Ox1x2x﹡g1(x)＝0g2(x)＝02有约束问题最优点的几种情况:有作用约束目标函数是凸函数,可行域是凸集，则目标函数等值线与作用约束曲面的切点为最优点，而且是全局最优点。1.无作用约束目标函数是凸函数，可行域是凸集，则最优点是内点。相当于无约束问题的最优点。x(k)为最优点x*的条件：必要条件：充分条件：Hessian矩阵H(x(k))是正定矩阵··X*f(x)·x*库恩—塔克条件的几何意义是:在约束极小值点x*处，函数F(x)的负梯度一定能表示成所有起作用约束在该点梯度（法向量）的非负线性组合。01K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。02对于目标函数和约束函数都是凸函数的情况，符合K-T条件的点一定是全局最优点。这种情况K-T条件即为多元函数取得约束极值的充分必要条件。第二章优化方法的数学基础§2-1方向导数与梯度§2-2凸集、凸函数与凸规划§2-3无约束优化问题的极值条件§2-4有约束优化问题的极值条件2-1方向导数与梯度函数的方向导数一个二元函数F(x1,x2)在X0点处的偏导数定义为:分别是函数在点X0处沿坐标轴方向的变化率.函数在点处沿某一方向的变化率如图2-1称它为函数沿此方向的方向导数（2-1）和也可看成是函数分别沿坐标轴方向的方向导数推导方向导数与偏导数之间的数量关系：偏导数是方向导数的特例（2-2）n元函数在点x0处沿s方向的方向导数Ox2x1x10x20x0?x1?x2?sxS?1?2图2-3二、梯度二元函数的梯度:为函数F(x1，x2)在x0点处的梯度。梯度的模：设梯度方向和s方向重合时，方向导数值最大。梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。图2-4梯度方向与等值线的关系设：则有为单位向量。多元函数的梯度函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。梯度模：梯度两个重要性质：性质一函数在某点的梯度不为零，则必与过该点的等值面垂直；性质二梯度方向是函数具有最大变化率的方向。图2-5梯度方向与等值面的关系例2-1求二元函数在点沿和的方向导数。解：因此，同理：例2-2求函数在点x(1)=[3,2]T的梯度。在点x(1)=[3,2]T处的梯度为：解：例2-3：试求目标函数在点处的最速下降方向。则函数在处的最速下降方向是解：由于当极值点X*能使f（X*）