《矩阵论.docVIP

分解非负矩阵及其应 摘 要 矩阵分解是实现大规模数据处理与分析的一种有效工具。非负矩阵分解(Non-negative Matrix Factorization,NMF)算法是指在矩阵中所有元素均为非负的条件下对其实现的非负分解，它的分解结果中不出现负值，提取的特征是基于部分的、局部化的、纯加性的描述等特征，由此区别于其他的分解方法。这为矩阵分解提供了一种新的思路，同时，为分析局部特征和整体特征之间的关系提供了一种思路。因此，非负矩阵分解方法在当今众多研究研究领域都具有十分重要的应用意义。本文介绍非负矩阵分解的基本思想，结合研究工作讨论在概率模型的框架下实现非负矩阵分解的目标函数和相应的算法，以及非负矩阵分解在图像压缩中的实际应用。 关键词：非负矩阵，实际应用，图像压缩，识别 引 言 在教材第四章中，专门讲解了矩阵的分解。书中首先由Gauss消去法推导出了矩阵的三角分解，然后介绍了QR分解、满秩分解等。这些分解在计算数学中都扮演着重要的角色，尤其是QR分解所建立的QR方法，它对数值代数理论的发展起着关键的作用。书中还简要介绍了广义逆矩阵理论中所遇到的矩阵的满秩分解、奇异值分解和谱分解。它们与QR分解都是求解各类最小二乘法问题和最优化问题的重要数学工具。而非负矩阵的分解则属于组合矩阵论的范畴，组合矩阵论作为近三十年来迅速发展的一个数学分支，它用矩阵论和线性代数来证明组合性定理及对组合结构进行描述、分类。它与众多数学领域联系密切，而且在信息科学、社会学、经济数学和计算机数学等很多方面都发展出了广阔的具体应用前景。 本文中介绍了非负矩阵分解的基本思想和一些最新研究成果，具体讨论了在概率模型框架下非负矩阵分解的算法，在传统的梯度下降法和加性迭代规则上加以改进，采用乘性迭代规则。并且，针对实际问题，具体分析阐述了当下非负矩阵分解的如图像压缩、人脸识别等较有发展前景的几个方向的热门应用。 第一章 课题背景 非负矩阵分解是一种多变量分析方法。它首先把高维的数据进行分解,得到低维的数据,然后再对低维的数据进行压缩,以得到理想的压缩效率。假设有m个n维空间的样本数据,用表示。该数据矩阵中各元素都是非负的，即,对矩阵进行线性分解，有 （1） 其中称为基矩阵，为系数矩阵。若选择的r比n小，用系数矩阵代替原数据矩阵，就可以实现对原数据矩阵的降维，得到数据特征的降维矩阵。然后对系数矩阵进行压缩，从而减少存储空间，节约计算资源。 第二章 非负矩阵分解的算法 2.1分解非负矩阵算法的介绍 最早的矩阵分解算法采用的是传统的梯度下降算法与加性迭代规则。而在本文中，将对这种方法的基础上进行改进，采用乘性迭代规则，这样更符合非负矩阵的特点，即在非负性初始化的基础上，在迭代的过程中依然保持非负性，以区别于加性迭代过程。 2.2非负矩阵分解的概率模型 将矩阵分解看成是如下含加性噪声的线性混合模型 (2) 其中表示噪声矩阵，该式也可写成 (3) 为了求解因子矩阵B、C，考虑如下最大似然解 (4) 假设噪声服从不同的概率分布，就可以得到不同类型的目标函数，设噪声是高斯噪声，即 （5） 其中是对每个观测值给定的权重，令 （6） 则最大似然解是最小化如下的损失函数： （7） 假设并忽略因子1/2和常数项，则得到 （8） 采用传统的梯度法，有 （9） 于是可以得到如下的加性迭代规则： （10） 如果设置，，式（10）加性迭代规则就变成了如下的乘性迭代规则： ， （11） 这里，只是将噪声进行了假设，除了高斯噪声外，加性噪声还有可能是泊松噪声、拉普拉斯噪声等，由以上的分析可知，对于不同的噪声，可以通过不同的目标函数来实现矩形的分解，并可以得到相应的乘性迭代规则。 1.3稀疏非负矩阵分解（SNMF） 稀疏矩阵是指含有较多零元素的矩阵，这是一个较为宽泛的概念。根据稀疏编码原则，我们提出如下的稀疏非负矩阵分解： （12） 其中，为常数。 采用传统的梯度法，则可以得到如下的加性迭代规则： （13） 如果设，将其代入（13）式，有如下乘性迭代规则： （14） 该算法相较于其他算法的最大优点在于能够很好地保持数据的非负性。 第三章 分解非负矩阵的应用 由于算法实现的简便和有效性，非负矩阵分解已经成为众多研究领域中