数据缺损矩阵低秩分解的正则化方法.pdfVIP

中国科学: 数学 2013 年 第43 卷 第3 期: 249 271 数据缺损矩阵低秩分解的正则化方法 ∗ 张振跃 赵科科 浙江大学数学系 杭州 收稿日期 接受日期 通信作者 国家自然科学基金批准号 和 资助项目 摘要 数据缺损下矩阵低秩逼近问题出现在许多数据处理分析与应用领域 由于极高的元素缺损率 数据缺损下的矩阵低秩逼近呈现很大的不适定性 因而寻求有效的数值算法是一个具有挑战性的课 题 本文系统完整地综述了作者近期在这方面的一些研究进展 给出了基本模型问题的不适定性理论 分析 提出了两种新颖的正则化方法 元素约束正则化和引导正则化 分别适用于中等程度的数据缺 损和高度元素缺损的矩阵低秩逼近 本文同时也介绍了相应快速有效的数值算法 在一些实际的大规 模数值例子中 这些新的正则化算法均表现出比现有其他方法都好的数值特性 关键词 数据缺损 矩阵分解 低秩逼近 正则化方法 协同过滤 主题分类 65F22, 65F30, 65F99 引言 用高维数据描述研究对象是许多数据分析研究领域中的基本手段 刻画研究对象之间近似的局部 或整体线性关系是数据分析的一个具有根本性的问题 众所周知 由于其简洁性 矩阵低秩逼近已成 为数据处理中的基本工具 例如 在文本分析中 每个文本在一定的程度上仅涉及少数几个不同主题 如果假定在一个收集了众多文本的集合中 所有的不同主题范围有限 那么每个文本可以看作论及这 些潜在主题文本的复合文本 因此 如果每一个文本用一个固定长度的频率向量重新表示 那么它可 以看作这些潜在主题文本向量的线性组合 于是 由文本向量构成的文本矩阵是一个近似的低秩矩阵 寻求其意义下的低秩逼近便可确定这个潜在主题文本向量 进而根据每个文本在论及主题的程度上的 相似性可以确定文本之间的相似性 以实现相似文本的搜索 在这里 矩阵的低秩逼近起到两个关键 的作用 确定具有关联性的潜在主题对象 或称表示向量 确定每个对象包含这些潜在对象的 成分分布 关联对象的确定可以在一定程度上消除冗余度 而在这个基础下 每个文本所含各个潜在主 题成分分布的构建可以更准确地确定不同对象之间的相似性 成分分布向量通常被认为是原文本的一 种低维表示或低维投影 许多基于线性关系的数据分析可以用类似的观点来阐述 显而易见 在低维维度 秩 确定的前提下 影响高维数据低维表示结果的主要因素是误差度量方 式和表示向量的构成 不同的误差度量可能给出不太一样的最佳低秩逼近 在相同的误差度量和不同 的表示向量下的低维投影可以相差一个仿射变换 因而 基于低维投影的相似性度量 也会因存在这 个仿射变换而不同 除这两个要素之外 还有一个潜在的因素没有引起足够的重视 这个潜在的因素是 低维投影所可能存在的非线性流形约束 由于篇幅的限制 本文将不触及这个因素 英文引用格式 张振跃等: 数据缺损矩阵低秩分解的正则化方法 一个常用的度量是误差分量的平方和 假设考虑 n 个观察对象 每一个对象已经用一个 m 维列 向量a , a , . . . , a 表示 A a a , a , . . . , a 为相应的数据矩阵 X x ∈ m ×n 为一个待 n ij n ij 定的低秩矩阵 假定其秩为r 则传统的矩阵低秩逼近可以表示为如下形式 { ∑ } aij − xij ∥A − X ∥F . X r ij 理