Frank-Wolf最优化方法.docxVIP

§1 Frank-Wolf方法一、问题形式 （1.1）其中为矩阵，，。记并设一阶连续可微。二、算法基本思想 是一个凸多面体，任取，将在处线性展开 用 或 （1.2） 逼近原问题，这是一个线性规划问题，设是其最优解。若，则也是线性规划问题（1.2）的最优解，此时可证为原问题的K-T点。若，则由是（1.2）的最优解，故必有从而 即为在处的下降方向，沿此方向作有约束的一维搜索　设最佳步长因子为，令当充分小时　 　 用取代，重复以上计算过程。三、算法迭代步骤1）给定初始点，允许误差，。2）求解线性规划问题，得最优解。3）若，Stop,；否则go to 4)。4）进行一维搜索，得最优步长因子；令，，go to 2)四、算法收敛性定理定理1.1设非线性规划问题（1.1）的最优解存在，且对算法产生的点列，线性规划问题 （1.3）的最优解总存在。则若迭代到某步，有，则为问题（1.1）的K-T点；若情形1）总不发生，则算法产生一有界无穷点列，其任意极限点都是原问题（1.1）的K-T点。证明：若情形1）出现，则也是问题（1.3）的最优解，故满足（1.3）的K-T条件： （1.4）而(1.1)的K-T条件： （1.5）（1.4）表明，，一起满足K-T条件（1.5），故是原问题的K-T点。2）由点列包含在的极点的凸组合中，而均为的极点，故、均为有界点列。设为的任一极限点，即存在子列，使得： 注意到点列满足： 考虑点列、、，不失一般性，设 ， ， 否则，可以通过反复抽取子序列，使上式对某个子序列成立。由 是的最优解，故，有 且 再由 及 取极限，有 （1.6）不等式组（1.6）等价于： （1.7）若能证明 即为问题 的最优解，由本定理的第一部分可知，为原问题K-T点。下证：，若不然，由（1.7）即知必有 故为处的下降方向，因而当充分小时，有 进而有： （1.8）但为单调下降的有界序列，故存在而且 即 与（1.8）矛盾，故必有。基于上述讨论，可以形成如下求解线性二层规划问题(1)的算法。（1）将不等式约束A1x+B1y≤b1，A2x+B2y≤b2，引入松弛变量w’∈Rp和w∈Rq满足：A1x+B1y+w’=b1，A2x+B2y+w=b2，同时将下层问题用K-T条件进行转换得式。（2）取互补松弛条件为罚函数项,得到相应的式。（3）将(2)式中的变量规范化,即令:z= (x1…xn,y1…ym,u1…uq,v1…vm,w’1…w’p,w1…wq)T得到相应的式(5).例题：s.t. s.t. (1)引入松弛变量同时利用KT条件对下层问题进行转换,取互补松弛条件为罚函数项同时令则式(1)相应的转换为s.t. Az=b式中：A，b为如下的分块矩阵A=取初始点：