大数据分析的分布式MOLAP技术.pdfVIP

软件学报ISSN 1000—9825，CODENRUXUEW Journal ofSoftware，2014，25(4)：731-752【doi：10．13328／j．cnki．jos．004569】 ◎中国科学院软件研究所版权所有． 大数据分析的分布式MOLAP技术 宋杰1，郭朝鹏1，王智1，张一川1，于戈2，Jean．Marc PIERSON3 1(东北大学软件学院，辽宁沈阳 l 10819) 2(东北大学信息科学与工程学院，辽宁沈阳 1 10819) 3(Laboratoire IRIT，Universitd Paul Sabatier，Toulouse F-31062，France) 通讯作者：宋杰，E-mail：songjie@maikneu．edu．cn，http：／／faculty．neu．edu．crgsongjie／ E—mail：jOS@iscas．ac．cn http：／／www．jos．org．en Tel／Fax：+86．10摘要： 大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，学界和业界广泛采用分布式文件 系统和MapReduce编程模型来应对这一挑战．提出了大数据环境中一种基于Hadoop分布式文件系统(HDFS)和 MapReduce编程模型的分布式MOLAP技术，称为DOLAP(distributed OLAP)。DOLAP采用一种特殊的多维模型完 成维和度量的映射；采用维编码和遍历算法实现维层次上的上卷下钻操作；采用数据分块和线性化算法将维和度量 保存在分布式文件系统中；采用数据块选择算法优化OLAP的性能；采用MapReduce编程模型实现OLAP操作描 述了DOLAP在科学数据分析的应用案例，并与主流的非关系数据库系统进行性能对比．实验结果表明，尽管数据装 载性能略显不足，但DOLAP的性能要优于基于HBase，Hive，HadoopDB，OLAP4Cloud等主流非关系数据库系统实现 的oLAP性能． 关键词： 大数据；多维数据模型；OLAP；MapReduce 中图法分类号：TP31l 文献标识码：A 中文引用格式：宋杰，郭朝鹏，王智，张--)1l，于戈，Pierson JM．大数据分析的分布式MOLAP技术．软件学报，2014，25(4)： 73 1-752．http：／／www．．en／1000-9825／4569．htm 英文引用格式：Song J，Guo CP，Wang Z，Zhang YC，Yu G，Pierson JM．Distributed MOLAP technique for big data analysis． Ruan Jian Xue Bao／Joumal ofSoftware，2014，25(4)：731-752(in Chinese)．http：／／www．jos．org．on／1000-9825／4569．htm DistributedMOLAP Technique for Big Data Analysis SONG Jiel，GUO Chao．Pen91，WANG Zhil，ZHANG Yi—Chuanl，YU Ge2，Jean．Marc PIERSON3 1(Software College，Northeastern University，Shenyang 1 10819，China) 2(School ofInformation and Engineering，Northeastern University，Shenyang 1 10819，China) 3(Laboratoire IRIT，Universitd Paul Sabatier，Toulouse F-3 1062，France) Corresponding author：SONG Jie，E-mail：songjie@mail．neu．edu．cn，http：／／faculty．neu．edu．cn／songjie／ Abstract：To address the new challenges that big data has brought on data storage，management and analysis，distributed file systems and MapReduce programming model have been widely adopted in both industry and academia．This paper proposes adistributed MOLAP technique，named DOLAP(distributed OLAP)，based on Hadoop distribut