秩极小化理论、算法与应用.PDFVIP

秩极小化：理论、算法与应用* 林 宙 辰 北京大学机器感知与智能教育部重点实验室，北京100871 1. 引言 稀疏表示（Sparse Representation ）[Elad2010]和压缩传感（Compressed Sensing ）[EK2012]是目 前信号处理和机器学习领域的热门课题。所谓稀疏性，指的是有意义的信号在适当选取的一组过完 备基（Overcomplete Bases, 或称为字典, Dictionary ）下可以只用其中少数几个基来表达。写成数学 表达式就是： mn 1 如果 是一个合适的字典， 是有意义的信号， 是 在 下的最稀疏 W  ( m n) y x0 y W 表示，即： x0 arg min x 0 , s.t. y Wx, x x m x 则 ，其中 表示 中非零元的个数。 x 0 0 0 上面的描述是基于向量的稀疏性来刻画的。但在实际应用中，我们将面临着各种各样的数据， 如图像、视频和基因微阵列 （Microarray ），它们天然就是矩阵甚至是张量。于是我们就自然面对着 一个问题：如何度量矩阵和张量的稀疏性？如果套用向量的稀疏性，把它们强行展开成向量、按照 向量来处理，势必破坏数据内在的结构，在很多问题上就会行不通。比如图像或视频压缩，没有一 个人会把图像或视频当作向量来压缩，因为这样没有充分利用空间和时间上的相关性。再如Netflix 2 挑战 （图1），如果把用户/视频评价矩阵直接按向量处理，必然导致用户未评价的视频都是她/他不 喜欢的视频这样不合理的结论。 本文主要讨论矩阵的稀疏性。那么什么才是矩阵的稀疏性度量呢？回想上面的两个例子，大家 很容易都能想到要充分利用图像或矩阵的行及列之间的相关性。另外，作为流形学习[LV2007] 的基 本假定，我们知道真实数据都是存在于高维空间中非常低维的流形上的，而且往往都可以用低维的 子空间来近似，比如前几个主分量所张成的线性子空间。行列相关性和低维子空间都共同指向了线 性代数的一个基本概念：矩阵的秩。以上的例子都提示我们：秩是矩阵稀疏性的合理度量。事实上， m n mn 秩是非常强的全局约束。一个 矩阵如果没有任何约束，它将有 个自由度；如果它的秩是 ， r 则自由度将下降为r(m n r) 。因此，秩是很好的针对矩阵的正则化子（regularizer ）。 * 本文得到国家自然科学基金资助。 1 对于压缩传感， 前面还会有一个压缩测量矩阵，这里不作赘述。 W 2 Netflix 是一家视频租赁公司，拥有很多用户对视频的评价，但这个用户/视频评价矩阵非常稀疏。该公司提供 100 万美元奖金希望能够把预测用户对视频的评价的准确率提高10%，以便有针对性地推荐，从而提高营收。见 / 1 图1 Netflix 挑战。需要预测用户对其未评价过的视频的喜好程度。 正如其他“新鲜”事物（如稀疏表示）一样，秩其实在统计学中早已被用作矩阵的正则化子， 如减秩回归（Reduced-Rank Regression ）[Tso1981] ；在三维立体视觉里，秩约束更是随处可见 [MSKS2004] 。但是E. Candès 等人的工作赋予了秩极小化新的内涵，另外传统的已经获得巨大成功 的稀疏表