几种矩阵完备算法的研究与实现_矩阵分析仿真大作业.docVIP

几种矩阵完备算法的研究与实现 ——《矩阵分析》课程仿真作业报告* 刘鹏飞 电?系2016210858 摘要 矩阵完备是指从??部分已知的矩阵元素中恢复出整个矩阵。它在计算 机视觉、推荐系统以及社交?络等??具有?泛的应?。矩阵恢复可以通过 求解?个与核范数有关的凸优化问题来实现。由此诞?了许多矩阵恢复的算 法，?如FPC算法等。FPC算法虽然实现简单，但其迭代速度较慢。在此基 础上，APG算法经过改进，能够提升迭代速度。但最?化核范数并不是求解 矩阵完备问题的唯??法，其中OptSpace算法构造了?个在流形上的优化问 题，相?于前两种算法能够以更?的精度恢复出原始矩阵。本?主要总结了 FPC、APG和OptSpace三种算法的步骤。特别地，对于OptSpace算法，本 ?提出了求解其中两个?优化问题的具体算法。最后，本?通过仿真实验和理 论分析?较了三种算法的特点，并给出了OptSpace算法的精度?于APG算 法的解释。 关键词：矩阵完备，核范数，FPC，APG，OptSpace 1.1矩阵完备及其算法综述介绍 矩阵完备是指从??部分已知的矩阵元素中恢复出整个矩阵。它在计算机视觉、推荐系统以及社交?络等??具有?泛的应?。矩阵完备可以描述成这样?个问题：对于?个m×n的矩阵M，其秩为r，我们只有对M中的部分采样，记*报告中所涉及到的仿真代码可在/s/1jHRcY8m下载 1介绍2这些采样位置组成的集合为?，那么是否有可能从已知的部分元素中恢复出整个矩阵M。假如M为低秩矩阵，并且已知的元素?够多并且?够均匀地分布在整个矩阵中，那么我们可以通过解如下优化问题来恢复出原始矩阵[1]： minrank(W) (1-1)s.t.Wij=Mij,(i,j)∈? 但是，问题(1-1)是?个NP难的?凸问题。在?定条件下，问题(1-1)可以转化成?个最?化核范数的问题。对于矩阵Wm×n，W的核范数定义为其奇异值之和，即 min(m,n) ∥W∥?=∑ k=1σk(W)(1-2) 其中，σk(W)表?W第k?的奇异值。问题(1-1)可以转化成： min∥W∥? (1-3)s.t.Wij=Mij,(i,j)∈? 优化问题[2][3][4]：对于(1-3)中带等式约束的问题，进?步地，可以将它凸松弛成?个?约束的1∥A(W)?b∥2(1-4)2+μ∥W∥?2 其中，b是由矩阵中采样位置对应的元素组成的p×1维向量，p=|?|（|·|表?min集合的势）；A:Rm×n?→Rp是?个线性映射，A(W)=(Wij)|(i,j)∈?；μ是?个可以调整的参数。 对于(1-4)中的?约束问题，?献[2][3]分别提出了FixedPointContinuation（FPC）和SingularValueThresholding（SVT）的算法。本?认为，这两种算法虽然出发点不同，但其实质都是梯度下降法，没有本质的差别，在算法实现上也基本?样。因此，本?只研究其中?种，即FPC算法。FPC算法虽然实现简单，但其迭代速度慢，效率不?。在此基础上，?献[4]做出了改进，提出?种AcceleratedProximalGradientSingularValueThresholding（APG）算法（该算法是在SVT算法上改进的，本?认为FPC和SVT实质上是?种算法，故不做区别），能够?幅度地提?收敛速度。 前?提到的?种算法，都是从(1-1)中的最?化秩的问题出发，经过?步步凸松弛得到的。与上述基本思路不同，?献[5]提出了OptSpace算法，它实质上是通过解另?种优化问题来实现矩阵完备： min s.t.F(W)=∑∥Mij?Wij∥2(1-5)(i;j)∈?rank(W)=r 1介绍3该优化问题旨在找到?个秩为r的矩阵，使得该矩阵在对应采样元素的位置上和原始矩阵尽量接近。在(1-5)中，秩为r的矩阵W可以表?成如下分解形式: W=XSYT(1-6) 其中，X∈Rm×r，Y∈Rn×r，S∈Rr×r，并且XTX=mI，YTY=nI。注意到(1-6)中的分解与奇异值分解具有类似的形式，X、Y的各列互相正交，但S不是对?阵。如果给定?组(X,Y)，则可以找到最佳的S，使得XSYT在对应采样元素的位置上和原始矩阵尽量接近。因此可以定义如下函数： F(X,Y)=minr×rS∈R∑(i;j)∈?∥Mij?(XSYT)ij∥2(1-7) 该函数的定义域为D(F)={(X,Y)|XTX=mI,YTY=nI,X∈Rm×r,Y∈Rn×r}。优化问题(1-5)可以等价为： minF(X,Y) (1-8)(X,Y)∈D(F) 函数F的定义域D(F)实质上是两个Grassmann流形的笛卡尔积。对于在Grass-mann流形上的优化问题，?献[6]做了相关研究，并提出了有效的求解算法，?