山东农业大学学报. 自然科学版-201404-Hadoop大数据平台的搭建与测试.pdfVIP

山东农业大学学报(自然科学版)，2013，44(4)：550—555 of Journal ShandongAgriculturalUniversity(NaturalScience) Hadoop大数据平台的搭建与测试 崔文斌，牟少敏’，王云诚，浩庆波，昌腾腾 (山东农业大学农业大数据研究中心，山东泰安271018) 摘要：大数据处理平台Apache?Hadoop是一个开源的分布式系统框架，可以运行分布式应用程序。在大数据时 建了Hadoop集群并进行了测试。 关键词：大数据；Hadoop；分布式应用程序；分布式系统 中图分类号：F301．2文献标识码：A 文章编号：1000—2324(2013)04—0550—06 THEBUⅡ。DINGAND11强TINGPLATFORMFoRHAD00P CUI Wen—bin，MuShao—min，WANGYun—eheng，HAOQing—bo，CHANG’IIeng—teng Research 271018，China) (AgriculturalBig—Data Center，ShandongAgriculturalUniversity。Taian Data Hafform isan sourcedistributed run frsmework，can Abstract：BigProcessingApacheHadoopopen system of has distributed theera Data applicationprograms．In Big Hadoopgooddevelopmentprospects．nispaper introducesthe of thestructureofthe clustermodulesand briefly historyHadoop，analyzes Hadoop components， the clusterandtested． buildingHadoop Distributed Keywords：BigData；Hadoop；DistributedApplicationsProgram；ne System 自2008年(Nature)发表有关大数据(BigData)的专刊以来，大数据的处理和分析已经成为人们关注 tality)…。这四个特点要求我们对当前分布式架构的理念做出新的理解，在数据处理和数据整合上使用 新的方法。Hadoop就是在此环境下成功应用于大数据处理和分析的一个分布式架构平台，它具有方便、 健壮性、可扩展性、搭建对硬件要求较低等优点心J，在大数据领域内的分布式处理上占有较大的优势。 Hadoop大数据平台的搭建和测试做出了详细的介绍和说明；第三节对全文进行了总结和展望。 1 Hadoop简介 Hadoop是一个开源的分布式架构平台，数据的理念与传统的分布式系统不同，它强调将代码向数据 迁移，而不是传统的将数据向代码迁移。避免了因为传输数据而耗费大量的时间。 1．1 Hadoop的发展史 Lucene的一个子项目，这三个 Hadoop是2005年作为Nutch的一个子项目引入的，Nutch则是Apache 项目都是由DougCutting所创立的，每个项目都是在前一个项目的基础上发展而来的p1。 个完整的Web搜索引擎。Doug 收稿日期：2012—07-05 基金项目：山东省自然基金(ZR2012FMOPA)资助 作者简介：崔文斌(1