求解广义鞍点问题和三块可分非凸优化问题的几类分裂方法.pdfVIP

摘 要 摘摘摘 要要要 鞍点问题和非凸优化问题刻画了众多应用领域的数学问题. 如图像处理 中的图像恢复、图像去噪等数据相关问题, 特别是随着科学技术日新月异的 发展, 大数据分析已成为炙手可热的问题, 大规模广义鞍点问题应用于参数识 别问题、最优控制、电路与网络等等. 这些问题的大规模、非光滑、非凸等 特性对传统的求解优化问题和鞍点问题的方法提出了重大挑战. 当前, 处理这 类问题的数值方法研究主要集中在梯度类方法, 分裂算法等. 本文针对鞍点问 题与非凸可分优化问题, 提出了几类改进的分裂算法. 针对鞍点问题, 本文改进了两种算法. 首先, 针对大规模广义鞍点问题, 直 接法需要较大的存储量, 并且程序复杂, 故本文从数值代数的角度出发, 对现 有的SOR 类算法进行了改进, 通过不同的分裂方法得到一种改进的类逐次超 松弛迭代算法, 同时新算法通过合适地选取参数矩阵使之具有更好的灵活度, 即每一步子问题可以容易地求解, 甚至可以有闭式解. 数值实验结果表明改进 的算法非常有效. 其次, 从优化角度设计处理鞍点问题的高效分裂算法. 通过 对原始对偶算法中的子问题加以修正, 得到一类新的原始-对偶算法, 并在适当 的假设条件下, 证明了算法的收敛性. 同时将算法应用到一些图像处理问题中, 数值实验的结果表明本文提出的算法更具有有效性. 针对视频处理、图像处理中出现的三块非凸可分优化问题, 本文提出了 三种改进的算法. 交替方向乘子法是解决二块凸可分优化问题的最经典有效 的方法. 而实际问题中的目标函数是多块的, 而且含有非凸项, 本文考虑一 类特殊的三块非凸可分优化问题, 首先通过在每步迭代中增加第三个变量的 更新和临近项, 提出了一个临近交替方向乘子法. 在相关函数满足Kurdyka- Łojasiewicz 性质和一些常见的假设条件下, 得到了新方法产生的序列收敛到 原问题的稳定点. 针对一般结构的三块非凸可分优化问题, 上述方法中增加了 第三个变量的更新, 使得子问题的求解的计算量增大, 本文通过仅增加对偶乘 子的更新得到了一个类对称交替方向乘子法, 同时给出了新方法在一定条件 下的收敛性. 本文将这些新的方法应用到视频处理中的提取背景/前景的问题 中, 数值实验结果表明所提出的算法具有效性. 最后, 针对一类特殊的模型, 如 静态摄像机采集的监控视频具有模糊且噪声较大的特点, 本文提出解决三块 非凸可分优化问题的线性化的交替方向乘子法, 同时给予收敛性证明与数值 – i – 摘 要 实验, 数值结果表明本文提出的算法具有优越性. 关键词: 鞍点问题、广义鞍点问题、非凸优化问题、类逐次超松弛迭代算 法、原始-对偶算法、交替方向乘子法、Kurdyka-Łojasiewicz 性质、全局收敛 性、收敛率 – ii – Abstract Abstract Saddle-point problems and nonconvex optimization problems characterize many application problems arising from wide fields such as data processing problems from image restoration and image denoising. With the rapid development of science and technology, big data analysis has become a hot issue, generalized saddle-point prob- lems are applied to parameter identification, optimal control, circuit and network, etc. Video processing and image