k-svd汇编.doc

K-SVD:用稀疏表示设计过完被字典的算法 Michal Aharon, Michael Elad, and Alfred Bruckstein 摘要：近年来信号的稀疏表示的研究越来越多。用包含信号原子原型的过完被字典，信号被描述为这些原子的稀疏线性组合。稀疏表示的应用包括：压缩，反问题的正则化，特征提取等等。近来的研究兴趣主要集中在通过给定一个字典来分解信号的追踪算法上。通过选择预先设定的一组线性变换或者适合字典的一组信号设计一个能够很好适合以上模型的字典。这两种技术我们都有涉及，但是这些主题大部分任就是开放的。为了能够到达信号的稀疏表示论文当中我们提出了一种新颖的适应字典的算法。给定一组训练信号，在稀疏的约束条件下我们寻找这组信号中每个信号的最佳稀疏字典的表示。我们展示了新方法-K-SVD算法-K-means聚类过程的推广。K-SVD是一种基于稀疏编码和当前样本的字典和字典原子更新过程的交替迭代算法。字典的列的更新结合稀疏表示加速收敛。K-SVD算法非常灵活可以在任何追踪算法下工作（例如：基追踪，FOCUSS，匹配追踪）。我们在真实图像数据和模拟数据上都做了算法的分析。 索引：原子分解，基追踪，密码本，字典，FOCUSS，获得形状的VQ，K均值，K-SVD，匹配追踪，稀疏表示，训练，矢量量化。 简介 信号的稀疏表示原理 近年来信号的稀疏表示的研究越来越热门。通过一个包含了K个信号原子原型的列的过完被字典矩阵，给定信号可以表示为这些原子的稀疏线性组合。y可用y Dx或者y≈Dx满足来表示。向量包含了y的稀疏表示系数。在近似方法中，用于据对偏差的典型范数是范数p 1，2，或者无穷，在这里我们主要集中在p 2的情况下。 如果n K并且D是一个满秩矩阵，那么稀疏表示问题的答案将是无穷多个，因此限制条件必须要有，如果表示系数只有很少的非零元素是最好的结果。这个稀疏表示可以用下边的式子表示： 或者 其中是范数，是向量非零值个数。 一些得益于稀疏稀疏和完备字典概念的应用包括：压缩，反问题的正则化，特征提取等等。事实上JPEG2000编码标准的成功在于自然图像小波系数的稀疏性[1]。在去噪方面，小波方法和移位不变性上开发出的完备表达是非常有效的算法[2]-[5]。稀疏和完备已经成功的应用于图像的动态范围压缩[6]和图像结构和内容的分割[7][8]，图像修复[9]等等。 近年来提取最稀疏表示的表示已被证明是一个非常难的问题。我们在II部分回顾了一些比较流行的方法，在所有这些方法中初步都假设字典是已知的或是固定的。在我们的方法中，我们专注于设计合适的字典来最好的适合我们已知的模型。 字典的选择 一个完备的字典D可以让稀疏表示可以是提前设定一组函数或者通过适应他给定的一组信号样本的内容来设计。 选择事先设定的转换矩阵是非常受欢迎的因为它的简单，同样，在许多情况下，它是评估稀疏的简单快速算法。在实际的例子包括：完备小波，曲线波，可操纵小波滤波器，短时傅里叶变换等等。字典应用的成功在于它依靠的如火如何稀疏的分解信号问题上的完美表示。多尺度分析和导向基函数以及移位不变性都是这个结构的准则。 在论文中我们基于学习考虑不同的途径来设计字典D。我们的目标是为训练信号找到字典D并产生稀疏表示，我们确信这个字典比通常事先确定的字典表现为更优良的特性。随着现在计算能力的提高，对于特定的信号设计最佳符合的字典计算速度基本算是第二考虑的问题。 论文的结构和贡献 在这论文中我们提出了信号稀疏表示的新颖算法，通过给定一组训练信号，在严格的稀疏约束条件下我们寻找出能使每个信号都有一个最佳可能稀疏表示的字典D。在接下来的部分我们介绍K-SVD算法（k-均值的推广算法），K-SVD是一种基于稀疏编码和当前样本的字典和字典原子更新过程的交替迭代算法。字典列的更新伴随着他稀疏表示系数一起进行加快了收敛速度。K-SVD非常灵活可适应任何追踪方法，因此记住字典是可以调整的。论文中我们描述并分析了K-SVD算法并且讨论了他与先前算法的关系，并证明了他的优越性。我们展示了真是图像和模拟数据上的测试结果。 在第II部分，我们分析了后边K-SVD将用到的追踪算法，以及近来他们在稀疏编码上理论结果的证明。第III部分提及了近来在稀疏表达上已经完成的工作并且描述了不同这项任务的不同算法。在第IV部分我们描述了我们的算法，可能的变量，以及他与先前方法的关系。K-SVD在真是图像数据和模拟数据上的结果在第V部分。在第VI部分事先的应用包括真实的图像数据。在VII部分是总结并讨论了将来的研究方向。 II．稀疏编码：先前的方法 稀疏编码就是通过给定的信号y和字典D计算它稀疏表示系数的过程，这个过程通常与“原子分解”通过解（1）（2），这通常可以通过“追踪算法”来完成。在这部分中我们