基于MapReduce的数据聚集运算算法.pdfVIP

中国科技论文在线 基于MapReduce 的数据聚集运算算法 冷芳玲，鲍玉斌，高伟，于戈 ( 东北大学信息科学与工程学院，沈阳 110004) 摘要：为解决数据仓库中海量数据的处理效率问题，可以采用数据聚集预计算的方法，但是 针对海量级别数据的聚集运算非常耗费计算资源，需要巨大的计算能力和存储能力，因此提 出了一组基于MapReduce 的面向海量数据的数据聚集运算算法，主要包括数据的选择、投 影以及等值连接等，并在此基础上，实现了计数、求和、均值等聚集运算，形成了比较完整 的面向海量数据的聚集运算算法。实验结果表明，该算法充分利用了集群系统的计算能力和 存储能力，极大地提高了海量数据的聚集运算效率和基于聚集运算结果上的数据查询效率。 关键词：数据仓库；聚集运算；MapReduce；联机分析处理 中图分类号：TP 311 文献标识码：A