非负矩阵分解算法概述之leeseung的世界.docxVIP

非负矩阵分解算法概述之LeeSeung的世界 ———————————————————————————————— 作者： ———————————————————————————————— 日期： 非负矩阵分解算法概述 〔吴有光〕 NOTE：本文为科普文章，尽量做到通俗而不严格，比拟适合理论小白补补NMF历史 第一局部 LeeSeung的世界 1 引言 现实生活中的数据，我们总是希望有个稀疏表达，这是从压缩或数据存储的角度希望到达的效果。从另一方面来讲，我们面对大量数据的时候，总是梦想能够发现其中的“规律〞，那么在表示或处理的时候，直接操作这些提纲挈领的“规律〞，会有效得多。这个事情，让很多的科学家都伤透脑筋，不过也因此有了饭碗。 第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里，实证研究方法是常用的方法。比方我们来考察大学生就业过程，对学生的选择工作类别的动机，我们常说“想吃劳保饭的同学铁了心要考公务员，喜欢轻松自由气氛的同学更趋向于外企，只想稳定的同学认为国企最好，富二代神马的最爱创业然后继承家产了〞，这句话如果要严格来论证是不可能的，那么我们转而寻求“调查论证〞，即通过设计问卷〔问卷上设计了可能影响学生选择的因素，比方家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素〕各种我们猜想会影响学生。 问卷上来后，我们通过统计得到如下的列表。 图1 第一个例子的统计表例如 表中的各个因素我们进展了量化，比方性格因素从完全内向到热情奔放分为5个等级〔可以用一些问题来直接或间接获得这个等级〕。那么剩下的问题就是答复开场的问题： 〔1〕是不是我们设计的每个因素都有效？〔显然不是，之所以设计问卷就是要来解决这个问题的〕 〔2〕是什么因素影响了学生的最终选择？或者说，从统计上来看，每个因素占多大比重？ 这时，用矩阵来表示可写为，其中就表示那个因素矩阵，表示最终取向，代表我们要求的系数。我们把要求的用代替，写成矩阵形式为： MACROBUTTON AuroraSupport.EditInitialCounterValues ADDIN MACROBUTTON AuroraSupport.NoMacro ADDIN MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic 1) ADDIN 更进一步，如果我们不仅调查学生的去向，还想同时调查很多事情，那么就会有，这样上面的式子改写为： MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic 2) ADDIN 此时问题转化为： Q1：，如何求解，使之满足上面的等式，其中具有初始值〔就是我们设计的一堆东西〕。 如果我们让固定，这就是一个方程求解的过程。然而，当我们认为也可以缩减，即认为很少样本就足够表示我们真实取得的样本，那么问题进一步转化为： Q2：如何同时求解和，使之满足。 或者我们也可以只对因素矩阵进展分解，即直接对其进展消减： MACROBUTTON AuroraSupport.PasteReferenceOrEditStyle ( SEQ Eq \* arabic 3) ADDIN 其中，为消减后因素矩阵，为在基底下的表示系数，这里要求列数要大大低于的列数，否那么就没有实际意义。 上面这个过程，就类似PaateroTapper于1994年提出的实矩阵分解〔Positive Matrix Factorization, PMF〕模型，此模型后来被LeeSeung提出的非负矩阵分解(Nonnegative Matrix Factorization, NMF/NNMF)模型所取代。 1.2 第二个例子 第一个例子为了给非数学、非信号处理的同学一个印象，写的罗里吧嗦，那第二个例子我们就简单写。 给定一组信号，如何找到对其进展稀疏表示？即如何找到满足的和，因为，这里要求且。 这个问题对信号处理的同学来说，太熟悉了。因为我们毕生的精力都在干这件事情。 如果去掉的非负限制，是有很多现成且高效的方法的，比方主成分分析〔Principle Component Analysis， PCA〕、独立成分分析〔Independent Component Analysis， ICA〕、因子分析〔Factor Analysis， FA〕等。然而，施加了非负限制后，这些方法就不适用了。而为什么要施加非负限制，回想第一个例子就明白了，我们最终找的是“影响因子〞，因子会有负的么？ 于是，非负矩阵分解就出世了， 1.3 非负矩阵分解 非负矩阵分解〔N