hadoop hdfs和mapreduce架构浅析 brief analysis of the architecture of hadoop hdfs and mapreduce.pdfVIP

郝树魁’本期关注 Focus HadoopHDFS和MapReduce架构浅析，Monthly Brief oftheArchitectureof Analysis Hadoo HDFS HDFSand p Hadoop MapReduce a Redu 和Mp ce架构浅析 郝树魁(中讯邮电咨询设计院有限公司，北京100048) Hao 摘要： 关键词： 在简述Hadoopnamenode、datanode运行模式的基础上，重点介绍了Hadoop pReduce的工作机制，并以作业提交、作业初始化、任务分配、任务执行和任务进度更 新等流程介绍了JobClient、JobTracker、TaskTracker和HDFS在MapReduce过程中图分类号：TP301 中的分工与协作，最后，对云计算作出展望。 文献标识码：A 文章编号：1007—3043(2012)07—0037—06 Abstract： mechanism It describesthe modeof namenodeand the of Ma- firstly operation Hadoop datanode．presentsworking Hadoop HDFSinthe of describesthecollaborationofJobClient，JobTracker，TaskTrackerand process job pReduce．It MapReduceby executionandtaskschedule it forcloud submit，jobinitialization，taskallocation，task update．Finallygivesprospectscomput— ing． Keywords： Hadoop；HDFS；Namenode；Datanode；MapReduce；JobTracker；TaskTracker 吸引人的是其处理混合数据类型的能力。Hadoop可 0前言 以管理结构化数据，以及诸如服务器13志文件和Web 点击流的数据。同时还可以管理以非结构化文本为中 Hadoop是一个基于Java的分布式密集数据处理 心的数据，如Facebook和Twitter。 和数据分析的软件框架。Hadoop在很大程度上是受 Coosle在2004年白皮书中阐述的MapReduce技术的 1 Hadoop基本架构 启发。MapReduce工作原理是将任务分解为成百上千 个小任务，然后发送到汁算机集群中。每台计算机再 Ha