主要介绍MP.docx

：稀疏表示的本质就是稀疏正规化约束下的信号分解。提出一种改进的正交匹配追踪算法，使运算量较高的矩阵求逆运算转变为轻量级的向量运算或向量与矩阵的运算，可以加快逆矩阵和大矩阵乘积的求解主要介绍MP(Matching Pursuits)算法和OMP(Orthogonal Matching Pursuit)算法[1]，这两个算法虽然在90年代初就提出来了，但作为经典的算法，国内文献(可能有我没有搜索到)都仅描述了算法步骤和简单的应用，并未对其进行详尽的分析，国外的文献还是分析的很透彻，所以我结合自己的理解，来分析一下写到博客里，算作笔记。1. 信号的稀疏表示(sparse representation of signals)给定一个过完备字典矩阵，其中它的每列表示一种原型信号的原子。给定一个信号y，它可以被表示成这些原子的稀疏线性组合。信号 y 可以被表达为 y = Dx ，或者。字典矩阵中所谓过完备性，指的是原子的个数远远大于信号y的长度(其长度很显然是n)，即nk。2.MP算法(匹配追踪算法)2.1 算法描述作为对信号进行稀疏分解的方法之一，将信号在完备字典库上进行分解。假定被表示的信号为y，其长度为n。假定H表示Hilbert空间，在这个空间H里，由一组向量构成字典矩阵D，其中每个向量可以称为原子(atom)，其长度与被表示信号 y 的长度n相同，而且这些向量已作为归一化处理，即|，也就是单位向量长度为1。MP算法的基本思想：从字典矩阵D（也称为过完备原子库中），选择一个与信号 y 最匹配的原子(也就是某列)，构建一个稀疏逼近，并求出信号残差，然后继续选择与信号残差最匹配的原子，反复迭代，信号y可以由这些原子来线性和，再加上最后的残差值来表示。很显然，如果残差值在可以忽略的范围内，则信号y就是这些原子的线性组合。如果选择与信号y最匹配的原子？如何构建稀疏逼近并求残差？如何进行迭代？我们来详细介绍使用MP进行信号分解的步骤：[1] 计算信号 y 与字典矩阵中每列(原子)的内积，选择绝对值最大的一个原子，它就是与信号 y 在本次迭代运算中最匹配的。用专业术语来描述：令信号，从字典矩阵中选择一个最为匹配的原子，满足，r0 表示一个字典矩阵的列索引。这样，信号 y 就被分解为在最匹配原子的垂直投影分量和残值两部分，即：。[2]对残值R1f进行步骤[1]同样的分解，那么第K步可以得到：，?其中?满足。可见，经过K步分解后，信号 y 被分解为：，其中。2.2 继续讨论(1)为什么要假定在Hilbert空间中？Hilbert空间就是定义了完备的内积空。很显然，MP中的计算使用向量的内积运算，所以在在Hilbert空间中进行信号分解理所当然了。什么是完备的内积空间？篇幅有限就请自己搜索一下吧。(2)为什么原子要事先被归一化处理了，即上面的描述。内积常用于计算一个矢量在一个方向上的投影长度，这时方向的矢量必须是单位矢量。MP中选择最匹配的原子是，是选择内积最大的一个，也就是信号(或是残值)在原子(单位的)垂直投影长度最长的一个，比如第一次分解过程中，投影长度就是。，三个向量，构成一个三角形，且和正交（不能说垂直，但是可以想象二维空间这两个矢量是垂直的）。(3)MP算法是收敛的，因为，和正交，由这两个可以得出，得出每一个残值比上一次的小，故而收敛。2.3 MP算法的缺点如上所述，如果信号(残值)在已选择的原子进行垂直投影是非正交性的，这会使得每次迭代的结果并不少最优的而是次最优的，收敛需要很多次迭代。举个例子说明一下：在二维空间上，有一个信号 y 被 D=[x1, x2]来表达，MP算法迭代会发现总是在x1和x2上反复迭代，即，这个就是信号(残值)在已选择的原子进行垂直投影的非正交性导致的。再用严谨的方式描述[1]可能容易理解:在Hilbert空间H中，，，定义，就是它是这些向量的张成中的一个，MP构造一种表达形式：;这里的Pvf表示 f在V上的一个正交投影操作，那么MP算法的第 k 次迭代的结果可以表示如下(前面描述时信号为y，这里变成f了，请注意)：如果??是最优的k项近似值，当且仅当。由于MP仅能保证，所以一般情况下是次优的。这是什么意思呢？是k个项的线性表示，这个组合的值作为近似值，只有在第k个残差和正交，才是最优的。如果第k个残值与正交，意味这个残值与fk的任意一项都线性无关，那么第k个残值在后面的分解过程中，不可能出现fk中已经出现的项，这才是最优的。而一般情况下，不能满足这个条件，MP一般只能满足第k个残差和xk正交，这也就是前面为什么提到“信号(残值)在已选择的原子进行垂直投影是非正交性的”的原因。如果第k个残差和fk不正交，那么后面的迭代还会出现fk中已经出现的项，很显然fk就不是最优的，这也就是为什么说MP收敛就需要更多次迭代的