压缩对hadoop性能影响研究【精选】.pdfVIP

CN43—1258／TP 计算机工程与科学 第 37卷第 2期 2015年 2月 ISSN 1007—13OX ComputerEngineering＆ Science VoI．37。No．2，Feb．2015 文章编号 ：1007-130X(2015)02-0207—06 压缩对 Hadoop性能影响研究 向丽辉，缪 力，张大方 (湖南大学信息科学与工程学院，湖南 长沙 410086) 摘 要 ：当今 ，磁盘 I／O的发展速度永远赶不上遵 照摩 尔定律 的CPU 的发展速度，并且 网络 I／O资 源稀缺，所以I／O常常成为数据处理的瓶颈 。Hadoop能存储 PB级数据，因此 I／O 问题愈加显著。压缩 是 I／O调优 的一个重要方法，它能减少 I／O的负载 ，加快磁盘和网络上 的数据传输。首先通过分析 Ha— doop中各压缩算法的特点，得 出一个压缩使用策略来帮助 Hadoop的使用者确 定如何使用压缩，并用实 验得以验证补充。基于该策略 ，一些 Hadoop应用在合理使用压缩后 ，效率能提 高65 。 关键词 ：Hadoop；MapReduce；I／O；压缩 中图分类号：TP311．564 文献标志码 ：A doi：10．3969／j．issn．1007—130X．2015．02．003 Effectofcompressionon Hadoop：A casestudyof improving1／OperformanceonHadoop XIANG Li—hui，M IAO Li，ZHANG Da—fang (CollegeofComputerScienceandElectronicEngineering，HunanUniversity，Changsha410086，China) Abstract：Nowadays，thedevelopmentofdisk I／O nevercatchesupwithCPU accordingtothe Moore’S1aw，andNetworkI／0iSscarce，SOI／Ooftenbecomesabottleneckofdataprocessing．Hadoop canstorePB_leveldatawhereI／0 problem becomesmoreobvious．Compressionisanimportantmethod tooptimizeI／O，whichcanreduceI／O loadandspeedupdatatransmissionondiskandnetwork．InHa— doop，thebenefitsofusing compressionhavenotbeen completelyexploited．Inthispaperwefirstana— lyzethecompressionalgorithmssupportedbyHadoop，thenproposeastrategytohelpHadoopusersi— dentifyhow tousecompressionandhow toverifythrough experiment ． Byusingcompression，theper— formanceofsomeHadoopapplicationscanbeimprovedupto65％． Keywords：Hadoop；MapReduce；I／O；compression 模上处理简单查询 ，DBMS-X(DataBaseManage— 引言 mentSystem—X)平均比Hadoop快了3．2倍 ，基于