基于Hadoop的大矩阵乘法处理方法-Core.PDFVIP

Journal of Computer Applications ISSN 1001-9081 2013-12-01 计算机应用，2013 ，33( 12) : 3339 － 3344 ，3358 CODEN JYIIDU http: / / www． joca． cn 文章编号:1001-9081 (2013)12-3339-06 doi :10 ． 11772 /j ． issn． 1001-9081． 2013． 12 ． 3339 基于Hadoop 的大矩阵乘法处理方法 * 1 1 1 1 ，2 ， ， ， 孙远帅 陈 垚 官新均 林 琛 ( 1． ， 361005 ; 2 ． ， 518000) 厦门大学信息科学与技术学院 福建厦门 厦门大学深圳研究院 广东深圳 ( * 通信作者电子邮箱chenlin@ xmu． edu． cn) : ， MapＲeduce ， 摘 要 目前的矩阵乘法算法无法处理大规模和超大规模的矩阵 而随着 编程框架的提出 并行处理 。 MapＲeduce ， 矩阵乘法成为解决大矩阵运算的主要手段 总结了矩阵乘法在 编程模型上的并行实现方法 并提出了实 ——— 。 ， 现高性能大矩阵乘法的策略 折中单个工作节点的计算量和需要网络传输的数据量 实验证明 并行实现算法在 ， ， 。 大矩阵上明显优于传统的单机算法 而且随着集群中节点数目的增多 并行算法会表现出更好的性能 : ; ; ;MapＲeduce ;Hadoop ; ; 关键词 大矩阵 矩阵乘法 矩阵运算 并行计算 海量数据 中图分类号:TP391 ;TP311 文献标志码:A Approach of large matrix multiplication based on Hadoop 1 1 1 1 ，2 * SUN Yuanshuai ， CHEN Yao ， GUAN Xinjun ， LIN Chen ( 1． School of Inf ormation Science and Engineering ， Xiamen University ， Xiamen Fuj ian 361005 ， China ;