源代码orthogonal matching pursuit omp回归算法介绍及python实现方法-peaker.pdfVIP

#源代码#OrthogonalMatchingPursuit(OMP)回归算法介绍及python

实现方法

Peaker

在介绍正交匹配追踪算法OMP之前，我们需要先了解一下匹配

追踪算法MP。假定被表示的信号为y，其长度为n。假定H表示

Hilbert空间，在这个空间H里，由一组向量构成字

典矩阵D，其中每个向量可以称为原子(atom)，其长度与被表示信

号y的长度n相同，而且这些向量已作为归一化处理，即|

，也就是单位向量长度为1。MP算法的基本思想：从字

典矩阵D（也称为过完备原子库中），选择一个与信号y最匹配的原

子(也就是某列)，构建一个稀疏近，并求出信号残差，然后继续选

择与信号残差最匹配的原子，反复迭代，信号y可以由这些原子来线

性和，再加上最后的残差值来表示。很显然，如果残差值在可以忽略

的范围内，则信号y就是这些原子的线性组合。如果选择与信号y最

匹配的原子？如何构建稀疏近并求残差？如何进行迭代？我们来详

细介绍使用MP进行信号分解的步骤：计算信号y与字典矩阵中每列

(原子)的内积，选择绝对值最大的一个原子，它就是与信号y在本次

迭代运算中最匹配的。对残值R1f进行步骤[1]同样的分解，那么第

K步可以得到：

MP算法的缺点

如上所述，如果信号(残值)在已选择的原子进行垂直投影是非正交性

的，这会使得每次迭代的结果并不少最优的而是次最优的，收敛需要

很多次迭代。举个例子说明一下：在二上，有一个信

号y被D=[x1,x2]来表达，MP算法迭代会发现总是在x1和x2上反

复迭代，即，这个就

是信号(残值)在已选择的原子进行垂直投影的非正交性导致的。

OMP算法描述

OMP算法的改进之处在于：在分解的每一步对所选择的全部原子进行

正交化处理，这使得在精度要求相同的情况下，OMP算法的收敛速度

更快。

OMP和MP共同构成了OMP算法，用来近似拟合非零参数的线

性模型。类似于最小角度回归的特征选择方法，OMP可以近

似选择最优向量。

OMP也可以以误差值为目标，而不单纯是依赖特异的非零参数个

数。因此可以通过如下表示

OMP基于贪婪算法，在每一步中都包含了与当前残差最相关的原

子。和MP算法类似，但是在迭代的时候效果要更优于MP，残差可以

在正交过程中重复计算。下面我们基于python语言举个例子

图为利用OMP算法恢复来自噪音数据的稀疏信号。第一个图为稀

疏信号分布，第二个图为没有添加噪音信号时的恢复情况，第三张图

为添加噪音数据，第四张图为采用OMP结合crossvalidation算法。可

见OMP回归算法可以极大程度上恢复稀疏数据，因此对于特征较少的

低维数据，OMP的表现会很好。

以上过程通过python语言实现，代码地址

喜欢本文吗？欢迎加入云生信跟大家一起进步~