浅谈凸优化问题Bregman迭代算法.docVIP

? HYPERLINK /celerychen2009/article/details/9058315 浅谈凸优化问题中的Bregman迭代算法 分类： HYPERLINK /celerychen2009/article/category/1401546 图像处理 HYPERLINK /celerychen2009/article/category/1401542 信号处理 2013-06-08 17:59 1117人阅读 HYPERLINK /celerychen2009/article/details/9058315 \l comments 评论(3) HYPERLINK javascript:void(0); \o 收藏 收藏 HYPERLINK /celerychen2009/article/details/9058315 \l report \o 举报 举报 目录 HYPERLINK /celerychen2009/article/details/9058315 \o 系统根据文章中H1到H6标签自动生成文章目录 (?) HYPERLINK /celerychen2009/article/details/9058315 \o 展开 [+]? ? ? ? 对于搞图像处理的人而言，不懂变分法，基本上，就没法读懂图像处理的一些经典文献。当然，这已经是10年之前的事情了。? ? ? ? ?现在，如果不懂得Bregman迭代算法，也就没法读懂最近几年以来发表的图像处理的前沿论文了。国内的参考文献，基本上都是直接引用Bregman迭代算法本身，而对于其原理基本上找不到较为详细的论述。本文简要叙述当前流行的Bregman迭代算法的一些原理。? ??1. 简介? ? ? ? ?近年来，由于压缩感知的引入，L1正则化优化问题引起人们广泛的关注。压缩感知，允许通过少量的数据就可以重建图像信号。L1正则化问题是凸优化中的经典课题，用传统的方法难以求解。我们先从经典的图像复原问题引入：? ? ? ? 在图像复原中，一种通用的模型可以描述如下： ? ?? ?? ? ? ? ?我们目标是从观测到的图像f，寻找未知的真实图像u，u是n维向量空间中的元素，f是m维向量空间中的元素。f 在压缩感知的术语叫做测量信号。 是高斯白噪声其方差为sigma^2。A是线性算子，例如反卷积问题中的卷积算子，压缩感知中则是子采样测量算子。? ? ? ??? ? ? ? ? 上述方程中，我们仅仅知道f，其它变量都不知道的。而且这种问题通常情况都是病态的，通过引入正则项可以使之成为良态的。正则化方法假定对未知的参数u引入一个先验的假设，例如稀疏性，平滑性。正则化问题的常见方法Tikhonov方法，它通过求解下面的优化问题：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ??其中mu是一个大于零的标量，事先设定的常数，用于权衡观测图像f和正则项之间的平衡。双绝对值符号是L2范数。? ??? ? ? ? 下面，为了引入Bregman迭代算法，需要对两个重要的概念进行描述。2. ?Bregman距离? ? ? ? ? ??? ? ? ? ? ? 注意这个定义，它是对泛函J在u点的subgradient的定义，p点是其对偶空间的中的某一点。subgradient可以翻译为次梯度，子梯度，弱梯度等。等式左边最右边一项是内积运算。如果泛函J是简单的一元函数，则就是两个实数相乘。次梯度有什么好处呢？对于一般的导数定义，例如y=|x|在0点是不可导的，但是对于次梯度，它是存在的。? ? ? ? ? ? ?? ? 上面的这个定义就是Bregman距离的定义。对于凸函数两个点u，v之间的Bregman距离，等于其函数值之差，再减去其次梯度点p与自变量之差的内积。要注意的是这个距离不满足对称性，这和一般的泛函分析中距离定义是不一样的。? ?3. ?Bregman迭代算法?? ? ? ? Bregman迭代算法可以高效的求解下面的泛函的最小?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ?? ? ? ?上式中的第一项J，定义为从X到R的泛函，其定义域X是凸集也是闭集。第二项H，定义为从X到R的非负可微泛函，f是已知量，并且通常是一个观测图像的数据，所以f是矩阵或者向量。上述泛函会根据具体问题的不同具有不同的具体表达式。例如，对于简介中的图像复原啊问题，J(u)就是平滑先验约束，是正则化项；而H则是数据项。?? ? ?Bregman迭代算法首先是初始化相关的参数为零，再迭代公式u，其左边