mapReduce 原理及其主要实现平台分析#39;.pdfVIP

《现代图书情报技术》版权所有，欢迎下载引用！ 请注明引用地址：ＭａｐＲｅｄｕｃｅ原理及其主要实现平台分析［Ｊ］，现代图书情报技术，２０１２（２）：６０－６７． 情报分析与研究 ＭａｐＲｅｄｕｃｅ原理及其主要实现平台分析 亢丽芸　王效岳　白如江 （山东理工大学科技信息研究所　淄博 ２５５０４９） 【摘要】针对海量数据处理在处理速度、存储空间、容错性、访问时间等方面存在的问题，对 ＧｏｏｇｌｅＭａｐＲｅｄｕｃｅ编 程模型的原理、执行流程等进行分析研究，介绍４种主要的ＭａｐＲｅｄｕｃｅ实现平台Ｈａｄｏｏｐ、Ｐｈｏｅｎｉｘ、Ｄｉｓｃｏ、Ｍａｒｓ，从编 程语言、构建平台、功能特点和应用领域４个方面对４种平台进行比较分析，以期对 ＭａｐＲｅｄｕｃｅ编程模型原理及 其应用平台有一个较全面的认识。 【关键词】ＭａｐＲｅｄｕｃｅ　实现平台　Ｈａｄｏｏｐ　Ｐｈｏｅｎｉｘ　Ｄｉｓｃｏ　Ｍａｒｓ 【分类号】Ｇ２５０　ＴＰ３９１ ＡｎａｌｙｓｉｓｏｆＭａｐＲｅｄｕｃｅＰｒｉｎｃｉｐｌｅａｎｄＩｔｓＭａｉｎＩｍｐｌｅｍｅｎｔａｔｉｏｎＰｌａｔｆｏｒｍｓ ＫａｎｇＬｉｙｕｎ　ＷａｎｇＸｉａｏｙｕｅ　ＢａｉＲｕｊｉａｎｇ （ＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｔｉｆｉｃ＆ＴｅｃｈｎｉｃａｌＩｎｆｏｒｍａｔｉｏｎ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｚｉｂｏ２５５０４９，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】Ｄｕｅｔｏｔｈｅｐｒｏｂｌｅｍｓｉｎｐｒｏｃｅｓｓｉｎｇｓｐｅｅｄ，ｓｔｏｒａｇｅｓｐａｃｅ，ｆａｕｌｔｔｏｌｅｒａｎｃｅ，ａｃｃｅｓｓｔｉｍｅａｎｄｏｔｈｅｒｓｏｆｍａｓｓｉｖｅ ｄａｔａｐｒｏｃｅｓｓｉｎｇ，ｔｈｉｓｐａｐｅｒａｎａｌｙｚｅｓｐｒｉｎｃｉｐｌｅ，ｉｍｐｌｅｍｅｎｔａｔｉｏｎｐｒｏｃｅｓｓｏｆＧｏｏｇｌｅＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌ，ｉｎｔｒｏ ｄｕｃｅｓｆｏｕｒｍａｉｎＭａｐＲｅｄｕｃｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｐｌａｔｆｏｒｍｓ，ｉｎｃｌｕｄｉｎｇＨａｄｏｏｐ，Ｐｈｏｅｎｉｘ，ＤｉｓｃｏａｎｄＭａｒｓ．Ｔｈｅｎ，ｉｔｓｅｐａｒａｔｅｌｙ ｃｏｍｐａｒｅｓｔｈｅｍｉｎｆｏｕｒａｓｐｅｃｔｓａｓｔｈｅｐｒｏｇｒａｍｍｉｎｇｌａｎｇｕａｇｅ，ｂｕｉｌｄｉｎｇｐｌａｔｆｏｒｍ，ｆｕｎｃｔｉｏｎｓａｎｄｆｅａｔｕｒｅｓ，ａｐｐｌｉｃａｔｉｏｎｓｔｏ ｈａｖｅａｃｏｍｐｒｅｈｅｎｓｉｖｅｕｎｄｅｒｓｔａｎｄｉｎｇｏｆＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌａｎｄｉｔ’ｓａｐｐｌｉｃａｔｉｏｎｐｌａｔｆｏｒｍｓ． 【Ｋｅｙｗｏｒｄｓ】ＭａｐＲｅｄｕｃｅ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎｐｌａｔｆｏｒｍ　Ｈａｄｏｏｐ　Ｐｈｏｅｎｉｘ　Ｄｉｓｃｏ　Ｍａｒｓ １　引　言 　　随着Ｉｎｔｅｒｎｅｔ网络资源的迅速膨胀，因特网容纳了海量的各种类型的数据和信息。海量数据的处理对服务器 ＣＰＵ、ＩＯ的吞吐都是严峻的考验，不论是处理速度、存储空间、容错性，还是在访问速度等方面，传统的技术架构和 仅靠单台计算机基于串行的方式越来越不适应当前海量数据处理的要求。国内外学者提出很多海量数据处理方 法，以改善海量数据处理存在的诸多问题。目前已有的海量数据处理方法在概念上较容易理解，然而由于数据量 巨大，要在可接受的时间内完成相应的处理，只有将这些计算进行并行化处理，通过提取出处理过程中存在的可 并行工作的分量，用分布式模型来实现这些并行分量的并行执行过程。随着技术的发展，单机的性能有了突飞猛 进的发展变化，尤其是内存和处理器等硬件技术，但是硬件技术的发展在理论上总是有限度的，如果说硬件的发 展在纵向上提高了系统的性能，那么并行技术的发展就是从横向上拓展了处理的方式。 ［１］ ＭａｐＲｅｄｕｃｅ 是由谷歌推出的一个编程模型，也是一个能处理和生成超大数据集的算法模型，该架构能够在 大量普通配置的计算机上实现并行化处理。 　　收稿日期：２０１１－０９－２１ 　　收修改稿日期：２０１２－０１－２３ 　　 本文系国家社会科学基金一般项目“海量网络学术文献自动分类研究”（项目编号：１０ＢＴＱ０４７）和山东省自然科学基金项目“大规模学 术文献并行处理与语义分类研究”（项目编号：ＺＲ２０１１ＧＬ０２５）的研究成果之一。 　　　６０　现代图书情报技术 总第２１６期　２０１２年　第２期