基于惩罚参数自适应选择原理的稳健交替方向乘子法.docxVIP

基于惩罚参数自适应选择原理的稳健交替方向乘子法 图像恢复是一个经典的线性问题。 其中:x是原图像, 即目标图像;A是线性算子的矩阵表示, 一般为模糊矩阵;y为观测图像, 即需要修复的图像;n则为噪声。众所周知, 从y中修复出x是一个欠定问题, 即存在多个解。幸运的是, 如果x是稀疏的或在某个特定的域里稀疏, 可以利用压缩感知 (compressed sensing) 理论 对于图像来说, x表示的是各个像素点的灰度值, 因此x不是稀疏变量。但是图像在某些特定的小波或框架 (一般假设为紧框架) 中表示的系数是稀疏的。文献[3]提供了这两种表示方法———分析 (analysis) 和合成 (synthesis) 方法。对于前者来说, 其模型为: 其中, λ为正则化参数, P为分析算子, 则Px表示的是在小波基或紧框架下的稀疏系数 其中, W为框架矩阵, 则图像x=Ws, 其中s为相应的稀疏系数。注意式 (2) 和式 (3) 都是凸优化问题, 其正则化项l 解决问题 (2) ~ (3) 最经典的方法是迭代阈值收缩 (Iterative Shrinkage/Thresholding, IST) 算法, 其核心是所谓的阈值收缩函数, 也被称为Moreau近似映射或去噪函数, 定义为: 当f (x) 为l 但是当矩阵A处在病态条件下, IST算法在解决问题 (2) ~ (3) 时会变得很慢。为了克服这一点, 许多加速版本的IST算法被提出来了。例如, Tw IST (Two step IST) 近几年来, 除了以上的IST系列算法, 交替方向乘子法 (Alternating Directions Method of Multipliers, ADMM) 尽管SALSA相对于其他的算法表现出了很大的优势, 但是它在具体实施中怎样选择惩罚参数是一个难题。事实上, SALSA的结果对惩罚参数的选择非常敏感, 为了达到满意的结果, 在实施中不得不做大量的尝试以选择最合适的惩罚参数。本文正是为了克服这一难题, 利用惩罚参数自适应选择原理 1 admm算法的结构 1.1 优化问题和admm算法 首先考虑下面的非约束优化问题: 而ADMM 1.2 ecskte和bertsekas定理1、2. 对于问题 (7) 和相应的ADMM算法 (算法2) , Eckstein和Bertsekas 定理1 假设1:B∈R 假设2:f, g是正常的闭凸函数; 那么, 如果问题 (7) 有解, 序列 (x 1.3 筛选条件中vv 对于问题 (7) , 其优化的充分必要条件如下。 假设x 其对偶可行性有 的优化解, 因此 分别比较式 (10) 和式 (14) , 式 (9) 和式 (13) , 不难发现v 被当成是式 (13) 的剩余值, 也称为第k+1迭代步时的对偶剩余值 (dual residual) 。而 被称为原始剩余值 (primal residual) 。 总之, ADMM算法的优化条件是式 (8) 、式 (9) 和式 (10) 。式 (10) 在迭代过程中总是满足的, 而原始和对偶剩余值:pr 2 稳定admm算法的结构 基于上面的ADMM算法框架, 可以结合基于原始和对偶剩余值的惩罚参数μ自适应选择原理 2.1 惩罚参数的自适应选择原则 为了加快ADMM算法的收敛速度, 可以考虑每一个迭代中采用不同的惩罚参数μ 值得一提的是, 在ADMM算法中惩罚参数μ 2.2 稳定admm算法 结合算法1, 式 (15) 、式 (16) 和式 (18) , 可以得到基于惩罚参数自适应选择的RADMM算法, 见算法2。 2.3 salsa算法 无论如何, RADMM都可以看作是:在前面有限迭代中通过调整惩罚参数μ来控制原始和对偶剩余值, 然后停止使用惩罚参数自适应选择, 从而退化成SALSA算法。基于此, 如果SALSA收敛, 则RADMM收敛。而1.2节保证了SALSA的收敛, 从而保证了RADMM的收敛。下面将利用RADMM进行图像恢复。 3 算法2中各计算复杂度 这一部分采用式 (3) 作为优化模型对图像进行修复, 并进一步假设A为块轮换卷积矩阵 (block-circulant convolution matrix) , W为标准化紧框架矩阵 (即Parseval紧框架) , 则有: 其中, W 对于式 (20) , 算法2中的Step 2~3变为: 简单分析可知, 在式 (21) 中, 通过设置目标函数的导数为0, 可以得到: 其中, ω 在式 (23) 中, 根据Sherman-MorrisonWoodbury矩阵求逆公式, 有 其中:U为酉 (unitary) 矩阵 (即有U 如果直接用FFT算法来表示式 (27) , 则有: 其中:“ue0c9”和“