一种推广的CUR矩阵分解算法.docVIP

一的矩阵分解算法wss,zhzhang}@ 摘要 CUR矩阵分解矩阵Nystrom逼近的重要引向量1 / 2（年龄1 /√2(高度1 / 2（收入人特征数据集的总和，不是的信息。的相对误差率。 不幸的是，所有现存的CUR分解算法都要求矩阵具有大量的列数和行数，并且列数与行数充分接近。例如，设为矩阵，，子空间采样算法要想在高概率条件下使结果达到的相对误差率，必须要求矩阵具有或的行数。并且该算法的计算次数至少都得是的奇异值分解的计算次数，即 因此该算法不太适用于大型矩阵。 在本文中，我们提出了一种新的CUR分解算法，该算法无论在理论上还是在实际中都优于子空间采样算法。特别的，我们在定理5中证明了这种新颖的随机CUR分解算法具有比子空间采样算法更低的时间复杂度和更紧缩的理论误差限的结论 本文的其余部分安排如下，设表示矩阵的第行，表示矩阵的第列，表示的1-范数，表示的Frobenius范数，表示的谱范数。表示阶单位矩阵，表示阶零矩阵，表示的奇异值分解，这里，表示对应于最大的奇异值的矩阵，我们记，表示的Moore- Penrose广义逆。 相关工作 3.1节介绍了几种与本工作相关的相对误差列选择算法；3.2节讲解了子空间采样算法；3.3节讨论了列选择算法算法相对误差列选择算法，列选择算法就是从矩阵中选择列构造出矩阵，使得，由于矩阵的选择具有中可能，因此选择最佳的是一个比较困难的问题。近几年中，许多多项式近似算法被提出，而我们比较感兴趣的是相对误差界的问题：即，若从矩阵中选择列，必存在常数，使得 我们称为相对误差率。现在我们列举一些与本文工作有关的最近研究结果。 首先，我们来介绍一项最近研究的确定性算法，称为双套稀疏化，目标秩，则必存在一种确定性算法能够选出从矩阵中选择列构造出矩阵，使得 尽管一些部分奇异值分解算法（例如Krylov子空间法）只要求次计算，但他们的计算结果是不稳定的（更详细的讨论可参考[15]），并且矩阵可以通过次计算出，其中表示计算的最大正数奇异值的必要次数。 另外，在参考文献[3,5,6,10,14]中也介绍了各种随机列选择算法以期达到给定的相对误差限。 参考文献[2]提出了一种随机算法，仅需选择列就能达到预期的的相对误差率。该算法是建立在奇异值分解的基础上，通过随机投影算法双套稀疏化算法自适应采样算法，，目标秩，，则必存在一种随机算法，能够选出从矩阵中至少选择列构造出矩阵，使得 其中期望值可由矩阵给出，并且能通过次计算得出。 3.2 子空间采样的CUR算法Drineas等人[ 10 ]中提出了一两阶段随机算法与目标秩 第一阶段，从矩阵中选出（或）列构造矩阵；第二阶段，从矩阵中选出（或）行构造矩阵的同时计算出矩阵；概率至少应该达到，相对误差率为，计算次数主要取决于对进行奇异值分解和计算的次数。 虽然该算法是高概率下的-最佳优化，但是它仍然要求大量的行去逼近（行数的期望值至少为）。本文试图寻找一种对行数和列数要求不多的算法。 列选择算法算法作一个列选择过程，那它的相对误差率将会至少达到 对于相对误差的CUR算法，第一阶段试图构造一个的相对误差率，而第二阶段在给定的情况下试图寻找一种算法使相对误差率达到 事实上，第一阶段是第二阶段当条件下的特例。给定矩阵，如果存在一种算法能够在第二阶段使得误差界 则使用该算法对作列选择，也能够使结果具有的相对误差率。因此，CUR分解算法的第二阶段是列选择算法的推广。 主要结果 本章主要介绍我们提出的新CUR分解算法，因为相比奇异值分解来说，它具有更低的时间复杂度，所以我们称之为快速CUR算法。在算法1中我们给出其算法描述，定理5给出其相应的理论分析，其中定理5可由引理2和定理4导出，定理4则可根据定理3证明得到，定理3是参考文献[6]中定理2.1的推广，定理4是参考文献[2]中定理5的推广。 算法1（快速CUR算法） 1.输入矩阵给定矩阵，目标秩，，目标列数 ，目标行数； 2.第一阶段：从矩阵中选择列构造出矩阵； 3.通过随机投影算法计算出的截断奇异值分解：； 4.利用的列数构造出矩阵，的列数构造出矩阵； 5.利用双套稀疏化算法； 6.计算，并将其赋给，然后将中所有的零列删除； 7.计算，并将其赋给； 8.计算样本概率：； 9.在概率条件下，从矩阵中选择列构造出矩阵； 10.第二阶段：从矩阵中选择行构造出矩阵； 11.利用的列构造出矩阵，再用的列构造出； 12.利用双套稀疏化算法； 13.计算，并将其赋给，然后将中所有的零列删除； 14.计算，并将其赋给；求； 15.在概率条件下，从矩阵中选择行构造出； 16.令，， 4.1 自适应采样算法中选择一定比例的列构造出矩阵后，再根据余矩阵，利用随机采样算法选择出额外的列。Boutsidis等人利用自适应采样算法双套稀疏化算法的相