MR-DC基于MapReduce的轻量级数据压缩策略.pdfVIP

第5卷 第 1期 智 能计 算 机 与 应 用 V01．5No．1 2015年2月 INTELLIGENT COMPUTERAND APPLICAT10NS Feb．2O15 MR—DC：基于 MapReduce的轻量级数据压缩策略 田 波，丁祥武 (东华大学 计算机科学与技术学院。上海 201620) 摘 要：大数据平台Hadoop为追求通用性，牺牲了对结构化大数据的处理性能。为此，提出了一种Hadoop平台上的针对结构化 数据的压缩存储策略。首先，针对多种不同的数据类型，结合轻量级压缩算法的特点，设计了多种数据类型的压缩数据页；然后， 设计了基于HDFS的页式行列混合存储结构；最后，设计并实现了基于MapReduce的MR—DC数据压缩策略，将数据压缩存储到 设计的存储结构中。在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量 ，从而为 提高后续的数据分析处理性能打下基础。 关键词 ：数据压缩；Hadoop；压缩数据页；行列混合存储结构 中图分类号 ：TP31l 文献标识码 ：A 文章编号：2095—2163(2015)01—0077—05 MR—DC：LightweightDataCompressionStrategybasedonMapReduce TIAN Bo，DING Xiangwu (SchoolofComputerScienceandTechnology，DonghnaUniversity，Shanghai201620，China) Abstract：Takingaccountofgenerality，thebigdataplatform Hadoopsacrificesprocessperfomr anceforstructureddata． ThispaperpresentsadatacompressionstrategybasedonHadoopofrsturctureddata．Firstly，consideringdifferentdata types，combinedwithcharacteristicsoflightweightcompressionalgorithms，thispaperdesignsavarietyoftypesofcon· presseddatapage．Then，thepaperproposesthehybridstoragestructureofcompresseddatapagebasedonHDFS．Finally， thepaperdesignsandimplementstheMR —DCdatacompressionstrategytocompressandstorebigdataintotheproposed storagestructure．Experimental resultsonlarge—scaledatawarehousebenchmrakdatasetsdemonstratetheeffectivenessof theproposedstrategyinreducingthestorageamountofsturcturedbigdata．SOastoimprovethedataanalysisprocessing perfomr ancesubsequent． Keywords：DataCompression；Hadoop；CompressedDataPage；HybridStorageStructure 0 引 言 采用分治的思想，数据分散到多个 DataNode上，多个 Task— 信息社会已进人大数据时代，如何高效地存储和分析大 Tracker并行读取数据进行计算 ，这对大数据处理则更为有 数据，给数据驱动型企业带来了