几种矩阵完备算法的研究与实现_矩阵分析仿真大作业.pdfVIP

几种矩阵完备算法的研究与实现 ——《矩阵分析》课程仿真作业报告 刘鹏飞 电⼦系 2016210858 摘要 矩阵完备是指从⼀⼩部分已知的矩阵元素中恢复出整个矩阵。它在计算 机视觉、推荐系统以及社交⽹络等⽅⾯具有⼴泛的应⽤。矩阵恢复可以通过 求解⼀个与核范数有关的凸优化问题来实现。由此诞⽣了许多矩阵恢复的算 法，⽐如FPC 算法等。FPC 算法虽然实现简单，但其迭代速度较慢。在此基 础上，APG 算法经过改进，能够提升迭代速度。但最⼩化核范数并不是求解 矩阵完备问题的唯⼀⽅法，其中OptSpace 算法构造了⼀个在流形上的优化问 题，相⽐于前两种算法能够以更⾼的精度恢复出原始矩阵。本⽂主要总结了 FPC、APG 和OptSpace 三种算法的步骤。特别地，对于OptSpace 算法，本 ⽂提出了求解其中两个⼦优化问题的具体算法。最后，本⽂通过仿真实验和理 论分析⽐较了三种算法的特点，并给出了 OptSpace 算法的精度⾼于APG 算 法的解释。 关键词：矩阵完备，核范数，FPC ，APG ，OptSpace 1 介绍 1.1 矩阵完备及其算法综述 矩阵完备是指从⼀⼩部分已知的矩阵元素中恢复出整个矩阵。它在计算机视 觉、推荐系统以及社交⽹络等⽅⾯具有⼴泛的应⽤。矩阵完备可以描述成这样⼀ 个问题：对于⼀个 的矩阵 ，其秩为 ，我们只有对 中的部分采样，记 报告中所涉及到的仿真代码可在 /s/1jHRcY8m 下载 1 1 介绍 2 这些采样位置组成的集合为 Ω ，那么是否有可能从已知的部分元素中恢复出整个 矩阵 。假如 为低秩矩阵，并且已知的元素⾜够多并且⾜够均匀地分布在整 个矩阵中，那么我们可以通过解如下优化问题来恢复出原始矩阵 [1]： min rank s.t. Ω (1-1) 但是，问题 (1-1) 是⼀个 NP 难的⾮凸问题。在⼀定条件下，问题 (1-1) 可以 转化成⼀个最⼩化核范数的问题。对于矩阵 ， 的核范数定义为其奇异值 之和，即 min ∥ ∥ ∑ (1-2) 其中， 表⽰ 第 ⼤的奇异值。问题 (1-1) 可以转化成： min ∥ ∥ s.t. Ω (1-3) 对于 (1-3) 中带等式约束的问题，进⼀步地，可以将它凸松弛成⼀个⽆约束的 优化问题 [2][3][4]： min ∥ ∥ ∥ ∥ (1-4)