奇异值分解与非负矩阵分解在数据降维方面特性的分析.pdfVIP

奇异值分解与非负矩阵分解 在数据降维方面的特性分析 1 1 2 徐利民 ，龚珊 ，余再军 （1．信息工程大学信息工程学院电子科学与技术系，河南郑州450002， 2.郑州铁路局客车车辆段技 术科，河南郑州450004） 摘要：奇异值分解（SVD，Singular Value Decomposition ）和非负矩阵分解（NMF ，Non-negative Matrix Factorization ）是两种常见的数据降维方法。分析表明两种算法在其数据表示意义、表示能力、数据重建计 算量、数据存储量等方面有不同的特性。 关键词： 信号与信息处理 奇异值分解 非负矩阵分解 Characteristics of Singular value decomposition and non-negative matrix factorization for data reduction 1 1 2 XU Li-min ，GONG Shan ，YU Zai-jun ( 1.Information Engineering University, Zhengzhou 450002，China, 2. Zhengzhou Railway Bureau Bus Depot Technology Section,Zhengzhou 450004) Abstract：Singular value decomposition （SVD）and non-negative matrix factorization （NMF ）are two common methods of data reduction. In this paper, some aspect of the two algorithms,such as the meaning of the decomposition data, the explanation ability, computation amount of data reconstruction, data storage and so on were analyzed. Key words: signal and information processing singular value decomposition non-negative matrix factorization 1. 引言 1999年，《nature》杂志发表了D.D.Lee和H.S.Seung 的论文[1]，最早提出了用非负矩阵 分解（NMF ，Non-negative Matrix Factorization ）方法进行大规模数据降维处理的新思想， 引起了广大科研人员的密切关注。奇异值分解（SVD，Singular Value Decomposition ）是一 种较早出现的数据降维与压缩算法。本文将两种不同分解方法进行对比，在Frobenius范数意 义下，研究比较两种分解在数据降维的数据量大小、准确性、对不同数据类型的适应能力、 矩阵的稀疏性与正交性等方面的特点。 2. 奇异值分解 奇异值分解算法将矩阵X 分解为 X U  V T mn mm mn nn ( 1) Σ 0 其中U和V是正交矩阵，Σ= r ，Σr=diag(σ , σ ,…,σ ) ，是对角矩阵，其中 1 2 r