非负矩阵分解技术应用于简单的音源分离场景中教程.docx

非负矩阵分解(NMF)技术在音源分离中应用研究 研究目的 了解非负矩阵分解技术的发展历程。 掌握非负矩阵分解技术的基本原理。 掌握非负矩阵分解技术在音源分离中的应用原理。 结合非负矩阵分解技术及聚类技术对简单语音进行特征分离，画出相应的聚类图或或分离后的频谱图。 二、研究背景 1．NMF简介 在信号处理 、神经网络 、模式识别 、计算机视觉和图像工程的研究中 ，如何构造一个能使多维观测数据被更好描述的变换方法始终是一个非常重要的问题。通常，一个好的变换方法应具备两个基本的特性：( 1 ) 可使数据的某种潜在结构变得清晰；( 2 ) 能使数据的维数得到一定程度的约减。 主分量分析 、 线性鉴别分析 、 矢量量化和独立分量分析是一些最常用的变换方法．它们因被施加的限制不同而有着本质的区别，然而，它们有两个共同的特点：( 1 )允许负的分解量存在(允许有减性的描述)；( 2 )实现线性的维数约减. 区别于它们,一种新的变换方法——非负矩阵分解( Nonngative Matrix Factor ,NMF)由Lee和seung在《Nature》上提出，它使分解后的所有分量均为非负值( 要求纯加性的描述 )，并且同时实现非线性的维数约减。它在矩阵分解过程中加入了矩阵元素均为为非负的约束条件，从而得到了完全不同的结果。NMF一经提出便引起了各个领域中科研人员的广泛重视：一方面，NMF通过全新的矩阵分解模式为处理大规模数据提供了新的途径；另一方面，NMF算法相比一些传统的算法，具有实现简便，分解形式和分解结果可解释性强、占用存储空间少等诸多优点。因此，随着研究的不断深入，NMF已经逐渐成为信号处理、生物医学工程、模式识别、计算机视觉和图像工程等研究领域最受欢迎的多维数据处理工具之一。 NMF理论实质上是利用非负约束条件来获取数据表示的一种方法。其理论问题可以描述为：对于任意给定的一个非负矩阵V，NMF算法能够找到一非负矩阵W和一个非负矩阵H，满足V≈WH，从而将一个非负矩阵分解为两个非负矩阵的乘积。由于分解前后的矩阵中仅包含非负的元素，因此原矩阵V中的列向量可以解释为对基矩阵W中所有列向量（基向量）的加权和，而权重系数为系数矩阵H中对应列向量中的元素。这种基于基向量组合的表示形式具有很直观的解释。 三、非负矩阵技术基本原理及演化技术 1、NMF的数学模型 NMF理论的数学模型如下： 已知非负矩阵V（观测数据矩阵），寻找适当的非负矩阵因子W和H（因子矩阵），使得 V=WH+E，V∈Rn×m，W∈Rn×r，H∈Rr×m (1) 其中n为数据向量的维数，m为集合中数据样本的个数，r为主成分数，矩阵V可以分解为基矩阵W和权系数矩阵H的乘积与误差矩阵E之和。 但为了简单起见，一般不考虑误差的因素，此时模型可以修改为 V≈WH (2) 或者 Vij≈WHij=k=1rWikHkj (3) 一般情况下，式(1)、(2)和(3)中r的选取比n和m都要小得多，而且r应该满足条件(n+m)rnm，即用很少的基来描述大量的数据，这样就得到了原始数据矩阵的一个压缩模型。如果假设Vj和Hj是矩阵V和H所对应的列向量，则是(3)还可以写成列向量的形式：Vj≈WHj，也就是说，每一个样本vj可近似的看作是非负矩阵W的列向量的非负线性组合，组合系数是Hj的分量。所以矩阵W可以看做是对数据矩阵V进行线性逼近的一组基，而H则是样本集V在基W上的非负投影系数。通常可以用少量的基向量组来表征大量的数据向量，如果找到合适的基向量组，使其能够代表数据之间潜在的结构关系，则会获得很好的逼近与表示效果。 2、NMF算法 根据NMF模型中对分解结果的限制是否仅限于非负性，可将现有算法分为基本NMF算法(Basic NMF，BNMF，基于基本NMF模型)和改进NMF算法(Improved NMF，INMF，基于改进NMF模型要依具体的期望特性对分解结果施加除非负外的其他的限制)两大类。 1.1 、BNMF算法 实现NMF的过程是一个优化求解的过程，Donoho等从理论上分析了BNMF存在唯一解的条件，这个条件的苛刻性告诉 我们：合理地构造一个目标函数，以此交替地优化W和H从而得到BNMF的一个局部最优解才是进行BNMF的可行方法．这也是目前BNMF算法构造的基本思想 ． 根据NMF理论的数学模型，必须寻找到一个分解过程V≈WH，使得WH尽量逼近V，也就是要使误差尽可能小，就必须定义相应的衡量标准，即必须定义目标函数来评价逼近的效果。 根据算法基于的目标函数的特点不同，BNMF算法可分为基于极大似然的NMF算法、基于欧式距离的NMF算法、基于散度偏差的NMF算法。 1）基于极大似然的NMF算法 1999年Lee等