非凸两块优化问题乘子交替方向法的收敛性.docxVIP

非凸两块优化问题乘子交替方向法的收敛性 0 bregmanadmm算法的收敛性 【研究意义】采用乘子迭代法（admm）求解大规模分布式计算的问题非常有效。admm不仅可以分散式收集和存储这些数据集，还可以在并行和分布环境中解决这些问题。admm适合解决分布不规则优化问题，特别是在统计分析、机械学习和相关领域的大型问题。这一点越来越重要。[前沿研究发展]admm思想最早起源于20世纪50年代。该算法于20世纪70年代中期由glwnski和marrocco获得。 其中L 在凸情形下, ADMM的收敛性已被充分认识 并提出如下改进的ADMM 其中Δφ是关于强凸函数φ的Bregman距离.当φ=0时, 算法 (0.4) 为传统ADMM.在罚参数充分大且目标函数二阶连续可微的条件下, 文献[7]证明算法产生点列的聚点是问题 (0.3) 的稳定点. 文献[8]分析如下Bregman ADMM算法的收敛性 【本研究切入点】最近, 文献[9]在矩阵A列满秩, 增广拉格朗日函数满足KL性质 (参见定义1.1) 且罚参数大于某个常数的条件下, 分析了传统ADMM算法 (0.1) 求解非凸问题 (0.3) 的全局收敛性. 我们考虑如下两分块极小化问题 【拟解决的关键问题】本文在不要求矩阵A列满秩, B不一定是单位阵, 在L 1 连续风特性iii 下面, 给出本文理论分析所需的一些概念与性质. λ (i) φ (0) =0; (ii) φ在0处连续, 在区间 (0, η) 上一阶连续可微; (iv) 对于任意的 则称函数f在点x 满足上述性质 (i) 、 (ii) 、 (iii) 的函数全体记为Φ 引理1.2 2 admm算法的收敛性分析 进一步, 可得 本文的收敛性建立在如下假设条件下. 假设2.1假设以下条件成立 首先, 证明{L 证明由增广拉格朗日函数的定义, 可得 利用y 由引理1.2和式 (2.2) 中第二式可得 把上式代入式 (2.4) 可得 由δ0及n的任意性可得 上式结合式 (2.7) 可得 两式相减, 可得 利用不等式 (a+b+c) 由F的性质可得x 由式 (2.9) 和式 (2.10) 可得 引理2.3存在ζ0, 对于任意k有 证明由增广拉格朗日函数定义, 可得 进一步结合式 (2.2) 可得 令ζ:=ζ 引理2.4设序列{w (iii) L 证明 (i) 式由S (w 由函数L 由上式及式 (2.13) 可得 (iii) 对于任意点 (x 最后, 给出非凸问题 (0.5) 的ADMM算法 (0.1) 的收敛性分析. 定理2.1若L (ii) 序列{w 因此, 对于任意的kk 由于S (w 由函数φ的凹性, 可得 即 利用不等式 由上式可得 所以 由式 (2.7) 可得 另一方面, 由式 (2.9) 、式 (2.10) 可得 所以 进一步可知序列w 3 l由条件转化 本文针对非凸两分块优化问题, 在不要求矩阵A列满秩, B不一定是单位阵, 在L 由算法 (0.1) 中每个子问题的最优性条件, 有 故 把上式代入式 (2.5) 右端可得 由H的性质可得y 结合式 (2.6) 和引理2.1可得 结合式 (2.7) 、式 (2.8) 有 利用x (i) S (w