File-10-10-08-13-约束优化_理论.pptVIP

Lagrange对偶(续) 对任意的 ，定义 原问题(primal)即 对任意的 ，定义 对偶问题即 如果要求ci(x)=0，则对偶问题中与之对应的变量没有符号限制 例2. 对偶问题 Lagrange对偶(续) 例3. 对偶问题 对偶问题的目标函数没有解析形式 Lagrange对偶(续) 弱对偶定理 推论3. 如果原问题无界，则它的对偶问题不可行; 如果对偶问题无界，则原问题不可行. 所有 表示对偶问题不可行！ 弱对偶定理： 推论2. 设 是原问题的可行解， 是对偶问题的可行解，且 ，则二者分别是各自问题的最优解 例4. 对偶间隙(duality gap)： 弱对偶定理(续) 强对偶定理 强对偶定理 线性规划的对偶 ◎ 不管原问题是不是凸的，对偶问题为凹函数的 极大化问题(凸规划)！ ◎ 对偶问题的约束仅有“界约束”，相当简单，在 很多时候求解对偶问题要容易得多. ◎ 以支撑矢量机(SVM)为例进行说明！！ Lagrange对偶的优点 半定规划(Introduction to Semidefinite Programming ) a good website for semidefinite programming is: http://www.zib.de/helmberg/semidef.html 半 定 规 划 是数学规划在二十世纪九十年代最令人兴奋的发展 应用：传统的凸优化、控制理论和组合优化等领域 求解：内点法(有效求解SDP) 半 定 规 划-预备知识 原始问题 对偶问题 在 x 必须满足 m 个给定的方程 且属于闭凸锥　　 的条件下，极小化线性函数 弱对偶定理. 原始问题在任一可行解处的值不比对偶的小. 强对偶定理. 只要原始问题或者对偶问题之一有解，则另一个问题也有解，且对偶间隙是零. 半 定 规 划-预备知识 ◎ ◎ 称K是闭凸锥(closed convex cone)，如果 ⊙ K 是闭集 ◎ 由闭凸锥 K 可以定义序 － n 阶对称矩阵的全体 － n 阶对称半正定矩阵的全体 － n 阶对称正定矩阵的全体 ⊙ 是闭凸锥 闭凸锥与序 半 定 规 划-预备知识 半正定锥 中定义的序，设 半 定 规 划－预备知识 ⊙ X 是一个对称矩阵 ⊙ X 是一个形如　　　　　　　 的向量 ⊙ X 是 　空间中的向量 关于X 的线性泛函： 注. 因为　　　 ，不失一般性，可假设 半 定 规 划－模型 原问题 ⊙ 目标函数是线性函数 ⊙ X 必须位于对称半正定矩阵(闭凸)锥 ⊙ X 必须满足 m 个线性方程 特点 确定SDP的数据： 半 定 规 划-模型(续) 例 设确定线性规划标准形的数据为 半 定 规 划-模型(续) 线性规划是半定规划的特例 －第(i, j)和( j, i)个元素是1，其余为0 令 半 定 规 划-对偶理论 对偶问题 等价于 原始问题 半 定 规 划-对偶理论(续) 等价于3个(线性)+3个(二次)+1个(三次)不等式！ 半 定 规 划-对偶理论(续) 上例的可行解和最优解的图示： 半 定 规 划-对偶理论(续) 定理1. 设 X’和( y’, S’ )分别是SDP和SDD的可行解，则 Slater constraint quality! 迹的定义及性质： 　　　　　　　 . 则SDP和SDD都将取到它们各自的最优值，且最优值相等. 定理2. 假设存在SDP和SDD的可行解　　　　　　 满足 半 定 规 划-应用 最大割问题(max-cut) ◎ 　　　　　 是无向图，顶点集　 ◎ 找子集 ，极大化　 半 定 规 划-应用 最大割问题(max-cut) 令 半 定 规 划-应用(续) 最大割问题的等价表述及SDP松弛 松弛：去掉秩1约束！ 最大割问题的SDP松弛 半 定 规 划-应用(续) 松驰问题的可行集是 真正可行集的外逼近 n=3时松弛问题的可行集 已证明 表明SDP松驰值不会比最大割(NP-难)的值高13% 半 定 规 划-应用(续) 凸二次约束二次规划(QCQP) 等价表述 半 定 规 划-应用(续) P 在 M 中的Schur补 特征值优化(EOP) 问题：希望 S 的最大和最小特征值之差尽可能小 半 定 规 划-应用(续) 给定对称矩阵　　　　　　　　，构造矩阵 　　　　　　　　分别为 S 的最大和最小特征值 EOP的SDP表述 半 定 规 划-应用(续) 本资料来源 更多资料请访问