最优性条件解析.docxVIP

PAGE PAGE # 第4章最优性条件 § 4.1最优性条件的预备知识 1.极小点的定义 无约束问题： mR f(x) 定义1 (全局极小点)若存在 x?Rn使得 f (x) _ f (X), ~x Rn 则称x为问题(1)的全局极小点。如果有 f (x) f (x), -x Rn, x = x 则称x为问题(1)的严格全局极小点。 定义2 (局部极小点)设 x?Rn，如果存在:.0使得 f (x) 一 f(x), -X N (x) 则称x为问题(1)的局部极小点。如果有 f(x) f(x),于xE Nx)/{x} 则称x为问题(1)的严格局部极小点。 约束问题： min f (x) s.t. gKx) —0,i =1, ,m hj(x) =0, j =1, ,l 其中f (x), g/x), hj(x)都是定义在Rn上的实值连续函数，且至少有一个是非线性的。 称f (x)为目标函数，gi(x)为不等式约束函数，hj (x)为等式约束函数。 (1) (i)如果m =0，称⑵为等式约束优化问题； 如果I =0，称⑵为不等式约束优化问题； 如果 gi(x)(i =1, ,m), hj(x)(j =1/ ,l)都为线性函数，f (x)是二次函数, 则称 ⑵为二次规划问题。 若X ? Rn满足(2)的所有约束条件，称 x为(2)的可行点(或可行解)。 可行集(可行域) g/x) —0,i =1, ,m, hj(x) —0, j =1/ ,l. 定义3 (全局极小点)设x ? S使得 f (x) 一 f (x), —X S 成立，则称x为问题 ⑵的全局极小点。如果有 f (x) f (x), —X S,x = x 成立，则称x为问题(2)的严格全局极小点。 定义4 (局部极小点)设X S，如果存在人＞ 0使得 f (x) _ f (x), -x N (x) S 成立，则称x为问题 ⑵的局部极小点。如果有 f(x) f(x), ~x N (x) S,x = x 成立，则称x为问题(2)的严格局部极小点。 2.内容安排 ■求全局极小点一般来说相当困难。实际上可行的只是求一个局部 (或严格局部)极小 点。故本课程后面所指极小点，通常指求局部极小点。 ■仅当问题为凸规划(即目标函数f(x)为凸函数，不等式约束函数 -g(x), i =1,…，m 为凸函数，等式约束函数 hj(x), j =1,…,l为线性函数)时，局部极小点才是全局极小点。 ■按定义验证最优解是不可能的。因此有必要给出只依赖于在 x处目标函数和约束函 数信息的、且与定义等价的条件。 这样的条件称其为最优性条件，它们是各种基于梯度算法的理论基础。 § 4.2无约束问题的最优性条件 考虑无约束问题(1)，回忆当R时，即单变量函数极值问题的最优性条件： 必要条件：若x，R且f (x)在x处取到极值，如果 f (x)在x可微，则x为f (x)的驻 点，即满足f(x) =0。 充分条件：若x ? R且f (x)在x处可微，如果f(x)=0且f(x)?0，则f(x)在x 处取到极小值；如果 f(x)=0且f(x)：：：0，则f (x)在x处取到极大值。 Min 一阶条件 二阶条件 必要 充分*1 必要 充分*2 单变量优化问题 f(x)=0 f(x) =0 f (x)凸 f(x) =0 f(xp0 f(x) = 0 f(x^0 多变量优化问题 Nf (刃=0 ▽f(x)=0 f (x)凸 Ff (x) =0 V2f(x)半正定 硏(x)= 0 可2 f (x)正定 *1： x为全局极小点； *2： x为严格局部极小点。 Max 一阶条件 二阶条件 必要 充分*3 必要 充分*4 单变量优化问题 f(x)=0 f(x)=0 f (x)凹 f (x) =0 f(x)兰 0 f (x) = 0 f(x)0 多变量优化问题 Vf (刃=0 ▽f(x)=0 f (x)凹 Vf(x)=0 v2f (x)半负定 Vf(x)=0 可2f(x)负定  *3： x为全局极大点； *4 : x为严格局部极大点。 定理1 (一阶必要条件):设Rn为函数f (x)在Rn的局部极小点，且f (x)在x可微, 贝U if (x )=0。 证明利用§4.0中的定理1可证。 几何解释：若x为局部极小点，则f (x)在x处不能有下降方向。从而，当 f(x) = 0时, f (x)为f(x)在x处的一个下降方向，故若 x?Rn为函数f (x)在Rn的极值点，必有 I f (乂)=0。 定理2 (二阶必要条件):设Rn为函数f (x)在Rn的局部极小点，且f(x)在x二阶 可微，则有 2 、f (x) =0，且 I f (x)半正定 证明：利用f(x)在x的二阶Taylor展开及局部极小点的定义可得。 几何解释：由