一种非负矩阵分解的快速稀松算法.docVIP

一种非负矩阵分解的快速稀疏算法 宋金歌， （云南民族大学 数学与计算机科学学院，云南 昆明） 摘要：本文提出了一种非负矩阵分解的快速稀松算法，该算法有利于处理高维小样本数据。在非负矩阵分解的过程中，通过代数变换，将原高维n×m阶的非负矩阵分解转化成低维m×m阶非负矩阵分解，大大提高了分解速度。此算法还在目标函数中加入了约束稀松度的项，通过控制稀松度，提高分解得到的潜在语义信息，改进文档集的话题划分，并能快速提取主题相关的语句生成文摘。 关键词：非负矩阵分解；快速稀松；文本文摘 中图分类号： 文献标识码： 文章编号： Fast and sparse algorithm for nonnegative matrix factorization SONG jin-ge, (School of Mathematic and Computer Science, Yunnan University of Nationalities, Kunming 650031,China) Abstract: A fast and sparse algorithm for nonnegative matrix factorization is introduced. The algorithm is conducive to deal with the high-dimension-small-sample data. In the nonnegative matrix factorization processing, by some algebra formulation, the n譵 high-dimension matrix to be factorized is changed into a m譵 low-dimension matrix, 负矩which greatly improves the rate of decomposition. The sparseness items is also added to the objective function in the algorithm, by controlling the sparseness in the factors, the proposed method extracts more meaningful latent features and improves topic identification,thus can be used in sentence extraction for summarization. Key words: nonnegative matrix factorization; Fast and sparse; document summarization 1999年，D.D.Lee和H.S.Seung在《nature》中发表论文[1]，首次提出了非负矩阵分解，为人们处理大规模数据提供了一种新的方法。2001年，Lee和Seung又在论文[2]中给出了非负矩阵分解的乘性迭代公式，有效的保持了数据的非负性。由于非负矩阵分解算法易于实现，存储空间小，分解形式的可解释性好，所以被应用于文本分析与聚类、数字水印、人脸识别、图像检索、基因特征提取等研究中。目前，人们对于非负矩阵的研究主要集中在三个方面：稀疏性增强的NMF算法；鉴别性NMF算法；加权NMF算法。 本文提出了一种非负矩阵分解的快速稀疏算法，通过代数变换把对原矩阵分解转化成对维数较低的对角矩阵的分解，并在分解的过程中加入了对系数矩阵稀疏度的控制。并给出了此算法的迭代规则以及收敛性证明过程，并将其应用在文本文摘中。 1 非负矩阵分解问题 问题描述 给定一个n×m阶非负矩阵V，找到两个n×r和r×m阶的非负矩阵因子W和H，使得V=WH。 我们将矩阵W称为基矩阵，矩阵H称为系数矩阵。 在矩阵V中列向量可以表示为：，其中基向量是矩阵W中的列向量，权重系数是矩阵H中对应的列向量中的元素。所以矩阵V中的列向量可看做是基向量与权重系数的一个线性组合。因此，矩阵W中的问题就可以转化为在矩阵W的列向量所形成的新的线性空间中的问题。矩阵H中的列可看作是矩阵V中对应列在该特征空间中的新的特征向量。 算法步骤 非负矩阵的分解是一种低秩逼近算法，常用V和WH间的欧几里德距离平方作为目标函 数来达到最佳逼近。目标函数为： （1）下，寻找矩阵W和矩阵H，使得（1）式达到最小值，只有当V=WH的时候，（1）式才能取到最小值0。Lee等利用梯度下降法给出一种乘法更新规则，迭代求得矩阵W和矩阵H。其算法如下： Step1：对非负矩阵W和H随机附初值； Step2:更新W和H，更新规