优化问题的经典解法.docx

.. 第 4 章 优化问题的经典解法 Chapter 4 Classical Optimization 4-1 优化问题的最优解 （Optimum solution ） 4-1-1 无约束最优解、约束最优解 所谓优化问题的最优解 变量的最优点 x1* , x2* , xn* T + 函数的最优值 f X * （ Optimum point + Optimum value ） 有无约束最优解及有 。根据优化问题是否存在约束， 约束最优解之分。 无约束最优解 使函数取得最小 Minima （最大 Maxima ）值的解称之，见图 4-1。 图 4-1 约束最优解 使函数取得最小（最大）值的 可行解 称之。情况要比无约束问题复杂，见二维问题的示意图 4-2。 约束不起作用 一个起作用约束 二个起作用约束 线性规划问题 图 4-2 ;. .. 4-1-2 局部最优解解和全局最优解 （Relative or local Absolute or global minimum ） 以一维问题为例，对于无约束优化问题，当目标函数不是单峰函数时，会出现多个极 值点 x1* , x2* , x3* , ，对应的函数值为 f (x1* ), f ( x*2 ), f ( x3* ), 。每一个极值点在数学上称为 局部最优点， 它们中间的最小者才是全局最优点。 对于约束优化问题， 情况就要更复杂一些， 目标函数、 约束函数的特性都会使得可行域内出现二个以上的局部极小点， 其中函数值最小者，称为全局最优点。 P16 Fig3.2 , P30 图 2-10 清华 本课程中讲述的所有优化方法目前只能求出局部最优解， 而优化设计的目的是要追求全 局最优解。 因此，除了凸规划问题以外， 要进行局部最优解之间的比较，选择出问题的全局 最优解来。 P12 4-2 凸集、凸函数与凸规划 4-2-1 凸集 （ Convex set ） 函数的凸集表现为其单峰性 （ Unimodal ）。 对于具有凸性的函数而言，其极值点只有 一个，该点即是局部极值点， 也是全局最优点。 为了研究函数的凸性， 首先引入凸集的概念。 P12~13 定义 在 n 维空间 Rn 中，对某集合 D 内的任意二点 X (1) 和 X(2) 作连线。若连线上的每 一个点都属于该集合 D ，则称该集合 D 为 n 维空间的一个凸集，见图 4-3。 X 2 X 2 X 2 X 2 X 1 X 1 X 1 X 1 a b 图 4-3 Definition: A set D is convex if for any points x1 and x2 in the set, the line segment joining these points is also in the set. The set (shown in Fig.4-5 (a) and (b)) is convex. 4-2-2 凸函数 （Convex Function ） 仅有一个局部最优点 (值 )（也是全局最优点）的函数称为凸函数。 1) 凸函数的数学定义（ Definition of Convex Function ） 图 4-4 ;. .. 凸函数的数学定义可以从一元函数推出。 如图 4-4 是一具有凸性的一元函数。 可以看到， 在该曲线上任取二点 x(1) 和 x (2 ) 连成的直线都位于曲线的上方， 即直线的纵坐标值一定大于 或等于对应点的函数值。这种关系可以用数学式表示如下 fx(1) (1 ) x( 2) f (x (1) (1 ) f ( x( 2) ) 弦） （曲线 0 1 0 1 若上 面不等式的  曲线的右端点 曲线的左端点 号改为 号， 则函数 f ( x) 称为严格 凸函 数 Strictly Convex Function 。对于多维问题，不等式的形式还是一样，只是 凸函数的性质 (Property) （ a） 二个凸函数的和亦是一凸函数  x X x1 x2 xn T p22 A convex function plus a convex function is a convex function also. f ( X ) f1 ( X ) f 2 (X） f ( X ) af 1 ( X ) bf 2 ( X ) a 和 b 为二个任意正数 (1) ( 2 ) （ b） 若 X 和 X 是凸函数 f (X ) 的二个极小点， 则其连线上的一切点均为 f ( X ) If two points X (1) and X ( 2) are minimum for a function f ( X ) , any