基于admm的分布式矩阵分解-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Submitted in total fulfilment of the requirements for the degree of Master in Computer Science and Technology Distributed Matrix Factorization via ADMM Zhi-Qin Yu Supervisor Prof. Wu-Jun Li Department of Computer Science and Engineering, School of Electronic and Electric Engineering Shanghai Jiao Tong University Shanghai, P.R.China Jan. 21th, 2015 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本 人承担。 学位论文作者签名： 日 期： 年 月 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保 密 □，在 年解密后适用本授权书。 本学位论文属于 不保密 □。 （请在以上方框内打“?”） 学位论文作者签名： 指导教师签名： 日 期： 年 月 日 日 期： 年 月 日 上海交通大学硕士学位论文 摘要 基于 ADMM 的分布式矩阵分解 摘 要 矩阵分解因其模型简单但是效果显著而成为推荐系统领域非常流行的模型 之一。但是在互联网时代，在线信息量呈爆发式增长。这种发展趋势一方面促 进了个性化推荐系统的广泛应用，另一方面要求数据挖掘类算法向并行分布 式方向转变。只有具有良好可扩展性的分布式算法才能处理日益庞大的数据 集。因此，近几年来，大数据研究人员致力于研究大规模矩阵分解问题的分布 式解决方案。而已有方案在效率、可扩展性等方面仍有很大提升空间。因此， 本文提出了一种新的解决方案并将其命名为 DS-ADMM (Distributed Stochastic Alternating Direction Methods of Multipliers)。该方案首先提出了一种新的数据 分割策略。该策略能够将分布式矩阵分解问题分解成适用于 ADMM 框架的 结构。在此基础上，本文设计并提出了 DS-ADMM。为了评测该算法的性能， 本文使用 MPI (Message Passing Interface) 实现该算法，并设计了多组实验测量 DS-ADMM 和多个已有算法在若干真实数据集上的运行性能。实验结果表明， 不论是在效率还是在精度上，DS-ADMM 都明显优于已有的分布式矩阵分解模 型。 关键词： 机器学习 推荐系统 ADMM 分布式算法 随机 学习 i — 上海交通大学硕士学位论文 ABSTRACT Distributed Matrix Factorization via ADMM ABSTRACT Matrix factorization (MF) has become one of the most popular techniques for rec- ommender systems due to its promising performance. With the advent of the Internet era, online information increases tremendously, which makes personal recommender systems widely used. On the other side, machine learning algorithms have to transfer to distributed version to handle large-scale datasets. Recently, Distributed (parallel) MF models have received much attention from researchers of big data community. In this paper, we propose a novel mod