非负矩阵分解法概述之LeeSeung的世界.docxVIP

非负矩阵分解算法概述 （吴有光） NOTE：本文为科普文章，尽量做到通俗而不严格，比较适合理论小白补补NMF历史 第一部分 LeeSeung的世界 1 引言 现实生活中的数据，我们总是希望有个稀疏表达，这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲，我们面对大量数据的时候，总是幻想能够发现其中的“规律”，那么在表示或处理的时候，直接操作这些提纲挈领的“规律”，会有效得多。这个事情，让很多的科学家都伤透脑筋，不过也因此有了饭碗。 1.1 第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里，实证研究方法是常用的方法。比如我们来考察大学生就业过程，对学生的选择工作类别的动机，我们常说“想吃劳保饭的同学铁了心要考公务员，喜欢轻松自由氛围的同学更趋向于外企，只想稳定的同学认为国企最好，富二代神马的最爱创业然后继承家产了”，这句话如果要严格来论证是不可能的，那么我们转而寻求“调查论证”，即通过设计问卷（问卷上设计了可能影响学生选择的因素，比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素）各种我们猜测会影响学生。 问卷上来后，我们通过统计得到如下的列表。 图1 第一个例子的统计表示例 表中的各个因素我们进行了量化，比如性格因素从完全内向到热情奔放分为5个等级（可以用一些问题来直接或间接获得这个等级）。那么剩下的问题就是回答开始的问题： （1）是不是我们设计的每个因素都有效？（显然不是，之所以设计问卷就是要来解决这个问题的） （2）是什么因素影响了学生的最终选择？或者说，从统计上来看，每个因素占多大比重？ 这时，用矩阵来表示可写为，其中就表示那个因素矩阵，表示最终取向，代表我们要求的系数。我们把要求的用代替，写成矩阵形式为：  MACROBUTTON AuroraSupport.EditInitialCounterValues [Beginning of the document] ADDIN  MACROBUTTON AuroraSupport.NoMacro [Automatic section break] ADDIN   MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic \* MERGEFORMAT 1) ADDIN  更进一步，如果我们不仅调查学生的去向，还想同时调查很多事情，那么就会有，这样上面的式子改写为：  MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic \* MERGEFORMAT 2) ADDIN  此时问题转化为： Q1：已知，如何求解，使之满足上面的等式，其中具有初始值（就是我们设计的一堆东西）。 如果我们让固定，这就是一个方程求解的过程。然而，当我们认为也可以缩减，即认为很少样本就足够表示我们真实取得的样本，那么问题进一步转化为： Q2：如何同时求解和，使之满足。 或者我们也可以只对因素矩阵进行分解，即直接对其进行消减：  MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic \* MERGEFORMAT 3) ADDIN  其中，为消减后因素矩阵，为在基底下的表示系数，这里要求列数要大大低于的列数，否则就没有实际意义。 上面这个过程，就类似PaateroTapper于1994年提出的实矩阵分解（Positive Matrix Factorization, PMF）模型，此模型后来被LeeSeung提出的非负矩阵分解(Nonnegative Matrix Factorization, NMF/NNMF)模型所取代。 1.2 第二个例子 第一个例子为了给非数学、非信号处理的同学一个印象，写的罗里吧嗦，那第二个例子我们就简单写。 给定一组信号，如何找到对其进行稀疏表示？即如何找到满足的和，因为，这里要求且。 这个问题对信号处理的同学来说，太熟悉了。因为我们毕生的精力都在干这件事情。 如果去掉的非负限制，是有很多现成且高效的方法的，比如主成分分析（Principle Component Analysis， PCA）、独立成分分析（Independent Component Analysis， ICA）、因子分析（Factor Analysis， FA）等。然而，施加了非负限制后，这些方法就不适用了。而为什么要施加非负限制，回想第一个例子就明白了，我们最终找的是“影响因子”，因子会有负的么？