nesta算法讲座.docVIP

Nesta算法以及一些推广 各位老师，各位同学，大家好。今天我给大家讲下Nesta这个算法。这个讲稿我写的比较啰嗦，有大量的重复语言，这样做呢，是刻意为之，因为我想给大家留足思考缓冲时间，所以故意写的比较啰嗦。压缩感知是一种全新的采样方式，当被采样信号很稀疏时，只需要少量的随机采样即可得到信号的全部信息或者近似全部信息。但是，俗话说，上帝为了打开了一扇门的同时也会关上另一扇门，压缩感知存在的一个重要问题就是如何有效地从压缩后的测量值中恢复出原始信号。关于压缩感知的理论和应用，文章很多，这里就不介绍了，我们直奔主题。 压缩感知的信号恢复，本质上就是求下面这个优化问题 这个公式的含义，想必大家都比较清楚了，我就不再赘述。需要说的一点是，实际上，一些二阶算法比如内点法，在求解上述问题时很准确，但是二阶算法计算复杂度很高，难以满足大规模问题。所以一般来说，我们在设计求解上述问题的算法时，只考虑一阶算法，就是最多只求一阶导数。目前比较好的一阶算法比较多，例如TWISA[1]，FISTA[2]，primal-dual[3]算法，增广拉格朗日法[4]，approximate message passing[5]算法，贪婪算法，同伦法，很多很多，大家可以在网上搜索文献看。一般来说，这些算法速度是足够的，但是，一般不够精确，因为拉格朗日乘子一般无法精确确定。还有一个比较现实的问题，就是这