非负矩阵分解算法.pdf

非负矩阵分解算法1 摘 要 :非负矩阵分解（NMF）是一种处理多变量数据分解极为有效的方 2 法。这里分析了两种不同的 NMF 多重算法。它们只在矫正规则 中使用 的乘法因子上略有不同。一种算法可以最小化传统的最小二乘误差，而 另一种算法则能将广义的 Kullback-Leibler 发散度最小化。 两种算法 的单调收敛性均可使用类似于用于证明期望最大化算法收敛的辅助函 数来证明。 这些算法采用对角比例梯度下降的方式，重新调整因子被 最优选择以确保收敛。 关键词：非负矩阵分解，NMF 多重算法, 最小二乘误差,K-L 发散度 一. 介绍 无监督的学习算法，如主成分分析和矢量量化，一种解释是对不 同约束条件下的数据矩阵进行分解的算法。根据所使用的约束，所得 到的因子可以显示出具有非常不同的表征性质。主成分分析仅执行弱 1 Translated by 卢天培. 2 update rules. 1 3 正交约束 ，导致了非常分散的表示，这种表示采用用消去法生成变异 性 [1,2]。另一方面，矢量量化使用一个有力的全局最优约束，从而将 [3] 数据聚类成互相独立的原型 。 我们以前已经证明，非负性是矩阵分解中有用的约束来进行数据 的部分性学习[4,5]。非负基学习向量用于分布式 （仍然采用稀疏组合产 [6,7] 生表达式） 。在本文中，我们详细分析了从数据中学习最优非负因 子的两种数值算法。 二. 非负矩阵分解 我们正式考虑算法来解决以下问题： 非负矩阵分解（NMF）给定非负矩阵，找到非负矩阵因子， 使得： ≈ (1) NMF 可以以下列方式应用于多变量数据的统计分析。给定一组多 元 n 维数据向量，将向量放置在n×m矩阵的列中，其中m 是数据集 中的示例数。然后将该矩阵近似分解为n×r矩阵r×m矩阵通常 r 小于 n 或 m，使于原始矩阵 得到原始数据矩阵的压缩版 本。 3 Principal components analysis enforces only a weak or- thogonality constraint, resulting in a very distributed representation that uses cancellations to generate variability [1, 2] 2 方程式 (1)近似的意义在于它可以逐列重写为v ≈ ，其中 ℎ是的对应列。换句话说，每个数据向量似的由的列进行 线性组合，用ℎ 的分量进行加权。因此，以被认为是包含对于中 的数据的线性近似优化的基础。由于相对较少的基向量用于表示许多 数据向量，所以在数据中只有在基向量发现潜在的结构时才能实现良 好的近似。 本文不是关于 NMF 的应用，而是侧重于找到非负矩阵分解的技术 方面。当然，其他类型的元分解因子在数值线性代数中已经得到了广 泛研究，但是这种非负性约束使得以前的很多工作都不适用于目前的 [8] 情况 。 在这里，我们讨论了基于W和H的迭代矫正的两种NMF 算法。由 于这些算法易于