优化复习.ppt

例1: 证明集合 S = { x∣Ax = b } 是凸集，其中A为 m?n矩阵，b为m维向量。 定义：设 那么称 是 的凸组合。 定义（凸函数）: 设集合 D ? Rn 为凸集，函数 f :D?R, 若 ? x, y ? D, ? ? (0 , 1) ，均有 f(? x+(1- ?) y ) ≤?f(x)+(1- ?)f(y) ， 则称 f(x)为凸集 D 上的凸函数。 若进一步有上面不等式以严格不等式成立，则称 f(x)为凸集 D 上的严格凸函数。 当-f(x)为凸函数(严格凸函数)时，则称 f(x)为凹函数 (严格凹函数)。 定理(一阶条件): 设D ? Rn 为非空凸集，函数 f :D?R 在 D 上可微，则 (1) f在D上为凸函数? 任意x，y?D，恒有 f (y) ≥ f (x)+ ?f T(x)(y-x) (1) (2) f在D上为严格凸函数? 任意x≠y?D，恒有 f (y) f (x)+ ?f T(x)(y-x) . (2) 定理（二阶条件）: 设D ? Rn 为含有内点的非空凸集，函数 f :D?R在 D 上二次可微，则 a) f在D上为凸函数? ?x?D，?2f (x) 半正定； b) 若 ?x?D，?2f (x) 正定，则f在D上为严格凸函数。 回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式非负。 例：设二次函数 (1)：若 为半定矩阵， 在 中为凸函数 ； (2)：若 为正定矩阵， 在 中为严格凸函数。 1947年, 美国学者George Dantzig(丹茨格) 提出了求解线性规划的单纯形法, 为线性规划的推广奠定了基础。 从可行域的一个顶点(基本可行解)开始, 转移到另一个顶点(另一个基本可行解)的迭代过程，转移的条件是使目标函数值得到改善(逐步变优),当目标函数达到最优值时, 问题也就得到了最优解。 两阶段法和大 M 法 引入人工变量 两阶段法的基本思想 两阶段法的基本思想 两阶段法的基本思想 大 M 法的基本思想 (1) 对称形式 一般称不具有对称形式的一对线性规划为非对称形式的对偶规划。 方法一： 对于非对称形式的线性规划，可以先化成对称形式的线性规划，写出其对偶规划。 例1：写出下列线性规划问题的对偶问题 原问题 例2： 标准形式的对偶问题 方法二： 按照下面的对应关系直接给出其对偶规划: 定理1 (对称性) 对偶问题的对偶是原问题 定理2 (弱对偶定理) 设 分别是原问题 和对偶问题 的可行解, 则 原问题任一可行解对应的目标函数值不小于其对偶问题的任一可行解对应目标函数值。 定理3 (最优性定理) 设 分别是原问题 和对偶问题 的可行解, 若 则 分别是它们的最优解。 （精确）一维搜索的一个重要性质 “成功—失败” 法（进退法） “成功—失败” 法（进退法） 步骤1：选取初始点 x∈R , 初始步长 h 0 及精度ε 0， 步骤2：计算 步骤3：若 搜索成功, 转步骤4；否则，搜索失败， 转步骤5。 步骤4：令 x:= x + h, 转步骤 2。 步骤5：判断 若 停止迭代， ；否则令