第4章优化问题的经典解法.docVIP

第4章 优化问题的经典解法 Chapter 4 Classical Optimization 4-1 优化问题的最优解 （Optimum solution） 变量的最优点+ 函数的最优值（Optimum point + Optimum value）。根据优化问题是否存在约束，有无约束最优解及有约束最优解之分。 无约束最优解 使函数取得最小Minima（Maxima）值的解称之，见图4-1。 图4-1 约束最优解 使函数取得最小（最大）值的可行解称之。情况要比无约束问题复杂，见二维问题的示 意图4-2。 约束不起作用 一个起作用约束 二个起作用约束 线性规划问题 图4-2 4-1-2 局部最优解解和全局最优解 （Relative or local Absolute or global minimum） ，对应的函数值为。每一个极值点在数学上称为局部最优点，它们中间的最小者才是全局最优点。对于约束优化问题，情况就要更复杂一些，目标函数、约束函数的特性都会使得可行域内出现二个以上的局部极小点，其中函数值最小者，称为全局最优点。P16 Fig3.2 , P30 图2-10清华 本课程中讲述的所有优化方法目前只能求出局部最优解，而优化设计的目的是要追求全局最优解。因此，除了凸规划问题以外，要进行局部最优解之间的比较，选择出问题的全局最优解来。P12 4-2 凸集、凸函数与凸规划 4-2-1 凸集 （Convex set） 函数的凸集表现为其单峰性（Unimodal）。 对于具有凸性的函数而言，其极值点只有一个，该点即是局部极值点，也是全局最优点。为了研究函数的凸性，首先引入凸集的概念。P12~13 定义 在维空间中，对某集合内的任意二点和作连线。若连线上的每 一个点都属于该集合，则称该集合为维空间的一个凸集，见图4-3。 图4-3 Definition: A set is convex if for any points and in the set, the line segment joining these points is also in the set. The set (shown in Fig.4-5 (a) and (b)) is convex. 4-2-2 凸函数（Convex Function） 仅有一个局部最优点(值)（也是全局最优点）的函数称为凸函数。 凸函数的数学定义（ Definition of Convex Function） 图4-4 凸函数的数学定义可以从一元函数推出。如图4-4是一具有凸性的一元函数。可以看到，在该曲线上任取二点和连成的直线都位于曲线的上方，即直线的纵坐标值一定大于或等于对应点的函数值。这种关系可以用数学式表示如下 （曲线 弦） 曲线的右端点 曲线的左端点 若上面不等式的 号改为 号，则函数称为严格凸函数Strictly Convex Function。对于多维问题，不等式的形式还是一样，只是 p22 凸函数的性质 (Property) 二个凸函数的和亦是一凸函数 A convex function plus a convex function is a convex function also. 和为二个任意正数 若和是凸函数的二个极小点，则其连线上的一切点均为 的极小点。 If two points and are minimum for a function , any point in the line joining two points is also minimum. 3) 凸函数的判定 (judgement of convex function) 凸函数的判定有二种方法，第一种就是凸函数的定义，实用性差，只有理论价值。 第二种方法是，若函数在凸集上存在二阶导数并且连续，在上为凸函数的充分必要条件是：对于任意，的矩阵处处都是半正定的; 若矩阵处处都是正定的，则是上的严格凸函数。反之不成立。 P22 Let be a twice differentiable function on the open convex set. Then is convex on if and on