最优化方法第1章节最优化问题与凸剖析基本.ppt

第一章 最优化问题与凸分析基础 在日常生活中，无论做什么事情，总是有多种方案可供选择，并且可能出现多种不同的结果。我们在做这些事情的时候，总是自觉不自觉的选择一种最优方案，以期达到最优结果。这种追求最优方案以达到最优结果的学科就是最优化。寻求最优方案的方法就是最优化方法。这种方法的理论基础就是最优化理论，而凸分析又是最优化理论的基础之一。 1. 最优化问题 最优化问题：求一个一元函数或多元函数的极值。 在微积分中，我们曾经接触过一些比较简单的极值问题。下面通过具体例子来看看什么是最优化问题。 1.1 最优化问题的例子 例1 对边长为a的正方形铁板，在四个角处剪去相等 的正方形以制成方形无盖水槽，问如何剪法使水槽 的容积最大？ 解：设剪去的正方形边长为x，由题意易知，此问 题的数学模型为，　 例2.（混合饲料配合）设每天需要混合饲料的批量为100磅，这份饲料必须含：至少0.8%而不超过1.2%的钙;至少22%的蛋白质;至多5%的粗纤维。假定主要配料包括石灰石、谷物、大豆粉。这些配料的主要营养成分如下表所示。试以最低成本确定满足动物所需营养的最优混合饲料。 1.2最优化问题的数学模型 一般形式 向量形式 其中 1.3 最优化问题的分类 与时间的关系：静态问题，动态问题 是否有约束条件：有约束问题，无约束问题 函数类型：线性规划，非线性规划 2、梯度与Hesse矩阵 2.1 等高线 二维问题的目标函数 表示三维空间中的 曲面。在空间直角坐标系中，平面与曲面的交线在 平面上的投影曲线为 取不同的值得到不同的投影曲线。每一条投影曲线 对应一个值，所以我们称此投影曲线为目标函数的 等值线或等高线。 2.2 梯度 梯度：多元函数 关于 的一阶导数 2.3 Hesse矩阵 Hesse 矩阵：多元函数 关于 的二阶偏导数矩阵 3、 多元函数的Taylor展开 4、凸集、凸函数和凸规划 4.1 凸集 定义：设集合 S ? Rn，若?x(1), x(2)?S, ??[0,1]，必有 ?x(1)＋(1- ?) x(2) ?S ，则 称 S 为凸集。 规定：单点集 {x} 为凸集，空集?为凸集。 注: ?x(1)＋(1- ?) x(2) = x(2)＋?(x(1)- x(2)) 是连接 x(1)与x(2)的线段 。 例:证明集合 是凸集。其中，A为 m?n矩阵，b为m维向量。 证明：任取 ，则 所以， 例：给定线性规划 ， 其中 ， 若令 ，则 是凸集。 定义：设 x(1) , x(2) , … , x(m) ? Rn, ?j≥ 0 ? ?j =1,那么称 ? ?j x(j) 为x(1), x(2), … , x(m) 的凸组合。 性质： 凸集的交集是凸集；（并集一般不是） 凸集的内点集是凸集； 凸集的闭包是凸集。 4.2 凸函数 定义: 设集合 S ? Rn 为凸集，函数 f :S?R， 若 ? x(1), x(2) ? S, ? ? ( 0 , 1 ) ，均有 f(? x(1)＋(1- ?) x(2) ) ≤?f(x(1))+(1- ?)f(x(2)) ， 则称 f(x) 为凸集 S 上的凸函数。 若进一步有上面不等式以严格不等式成立，则称 f(x) 为凸集 S 上的严格凸函数。 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为凹函数（严格凹函数）。 定理： f(x) 为凸集 S 上的凸函数? S 上任 意有限点的凸组合的函数值不大于各点函数 值的凸组合。 定理：可微函数 f(x) 为非空凸集 S 上的凸函 数? 对任意 ，有 定理：具有二阶连续偏导数的函数 f(x) 为非 空凸集 S 上的凸函数? 是半正定矩阵。 注： （1）当 是正定矩阵时，f(x) 是严格凸函数； （2）当 是半正定矩阵时，- f(x) 是凹函数 例：判断下列函数的凹凸性。 （1） （2） 解：（1） 为正定矩阵， 为严格凸函数。 （2）因为