优化问题的经典解法.DOCVIP

PAGE PAGE 12第4章 优化问题的经典解法Chapter 4 Classical Optimization4-1 优化问题的最优解 （Optimum solution）4-1-1 无约束最优解、约束最优解所谓优化问题的最优解 变量的最优点+ 函数的最优值（Optimum point + Optimum value）。根据优化问题是否存在约束，有无约束最优解及有约束最优解之分。无约束最优解使函数取得最小Minima（最大Maxima）值的解称之，见图4-1。 图4-1约束最优解使函数取得最小（最大）值的可行解称之。情况要比无约束问题复杂，见二维问题的示意图4-2。 约束不起作用 一个起作用约束二个起作用约束 线性规划问题 图4-24-1-2 局部最优解解和全局最优解 （Relative or local Absolute or global minimum）以一维问题为例，对于无约束优化问题，当目标函数不是单峰函数时，会出现多个极值点，对应的函数值为。每一个极值点在数学上称为局部最优点，它们中间的最小者才是全局最优点。对于约束优化问题，情况就要更复杂一些，目标函数、约束函数的特性都会使得可行域内出现二个以上的局部极小点，其中函数值最小者，称为全局最优点。P16 Fig3.2 , P30 图2-10清华本课程中讲述的所有优化方法目前只能求出局部最优解，而优化设计的目的是要追求全局最优解。因此，除了凸规划问题以外，要进行局部最优解之间的比较，选择出问题的全局最优解来。P124-2 凸集、凸函数与凸规划4-2-1 凸集 （Convex set）函数的凸集表现为其单峰性（Unimodal）。 对于具有凸性的函数而言，其极值点只有一个，该点即是局部极值点，也是全局最优点。为了研究函数的凸性，首先引入凸集的概念。P12~13定义 在维空间中，对某集合内的任意二点和作连线。若连线上的每一个点都属于该集合，则称该集合为维空间的一个凸集，见图4-3。 图4-3Definition: A set is convex if for any points and in the set, the line segment joining these points is also in the set. The set (shown in Fig.4-5 (a) and (b)) is convex.4-2-2 凸函数（Convex Function）仅有一个局部最优点(值)（也是全局最优点）的函数称为凸函数。凸函数的数学定义（ Definition of Convex Function） 图4-4凸函数的数学定义可以从一元函数推出。如图4-4是一具有凸性的一元函数。可以看到，在该曲线上任取二点和连成的直线都位于曲线的上方，即直线的纵坐标值一定大于或等于对应点的函数值。这种关系可以用数学式表示如下 （曲线 弦）曲线的右端点曲线的左端点若上面不等式的 号改为 号，则函数称为严格凸函数Strictly Convex Function。对于多维问题，不等式的形式还是一样，只是 p22凸函数的性质 (Property)二个凸函数的和亦是一凸函数 A convex function plus a convex function is a convex function also. 和为二个任意正数若和是凸函数的二个极小点，则其连线上的一切点均为的极小点。If two points and are minimum for a function , any point in the line joining two points is also minimum.3) 凸函数的判定 (judgement of convex function)凸函数的判定有二种方法，第一种就是凸函数的定义，实用性差，只有理论价值。第二种方法是，若函数在凸集上存在二阶导数并且连续，在上为凸函数的充分必要条件是：对于任意，的矩阵处处都是半正定的; 若矩阵处处都是正定的，则是上的严格凸函数。反之不成立。 P22Let be a twice differentiable function on the open c