矩阵低秩分解理论剖析.pptVIP

低秩矩阵表示新近的发展研究 Latent LRR Liu and Yan. Latent Low-Rank Representation for Subspace Segmentation and Feature Extraction, ICCV 2011. 低秩矩阵表示新近的发展研究 Fixed Rank Representation (FRR) Liu, Lin, Torre, and Su, Fixed-Rank Representation for Unsupervised Visual Learning, CVPR 2012. 低秩矩阵表示新近的发展研究 Kernel LRR Wang et al., Structural Similarity and Distance in Learning, Annual Allerton Conf. Communication, Control and Computing 2011. 低秩矩阵表示新近的发展研究 基于低秩张量应用研究 低秩矩阵表示新近的发展研究 基于低秩张量应用研究 稀疏表示和矩阵低秩分解类比 研究展望： 理论方面： 需要研究在稀疏性或(和) 低秩性之外, 如何更进一步地去发现和利用数据中潜在的本质结构。 算法方面： 需要充分利用问题的结构和现有的硬件条件, 开发快速的、并行的算法变性。 应用方面： 需要根据应用问题本身的物理意义, 设计合理的数学模型, 使用现代凸优化方法进行高效的求解。 矩阵低秩分解理论及其应用分析 成科扬 2013年9月4日 从稀疏表示到低秩分解 稀疏表示 压缩感知(Compressed sensing) 从稀疏表示到低秩分解 矩阵低秩分解 矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition) 低秩矩阵恢复（Low-rank Matrix Recovery） 鲁棒主成分分析(Robust principle component analysis, RPCA) 低秩稀疏非相干分解(Rank-sparsity incoherence) observation low-rank sparse 预备知识 低秩矩阵恢复（鲁棒主成分分析RPCA） 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原有数据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ分解为两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知，但Ａ是低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布时，可用经典的PCA来获得最优的矩阵Ａ，即求解下列最优化问题： 当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题： 引入折中因子λ，将双目标优化问题转换为单目标优化问题： RPCA的求解 凸松弛 NP难问题 松弛后 矩阵核范数 迭代阈值算法（iterative thresholding，IT） 将最优化问题正则化，便得到优化问题： 优化问题式的拉格朗日函数为 使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时， 当Ａ＝Ａk+1，Ｙ＝Ｙk时， 当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时， 其中：步长δk满足０＜ δk ＜1 ＩＴ算法的迭代式形式简单且收敛，但它的收敛速度比较慢，且难以选取合适的步长 加速近端梯度算法（accelerated proximal gradient，APG） 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函数： 记 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ(Ａ,Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得 其中： 表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作Ｌ(Ａ,Ｅ,μ)的部分二次逼近： 加速近端梯度算法（accelerated proximal gradient，APG） 为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为: 参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题为： 其中： 表示矩阵元素绝对值最大的值。当优化问题对偶式取得最优值 时，