大讲台谈MapReduce常见的问题及解决方案.docVIP

大讲台谈MapReduce常见的问题及解决方案 本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案。希望对正在学hadoop的人有所帮助。 问题1：MapReduce和Yarn是什么关系？ 问题描述：课件中说Hadoop框架的核心是HDFS和MapReduce，这课程主要讲的2.2版本，2版本中不是用Yarn了吗。 我看书上和网上有些人说Yarn是MapReduce二代，改进了MapReduce一代的一些弊端。 但我看Hadoop2.2中有MapReduce也有Yarn模块，那么MapReduce和Yarn到底是什么关系？ 解决方案：这问题很好，我比较认同《Hadoop技术内幕》作者董西成的看法。 首先，YARN并不是下一代 MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和 ReduceTask）是完全一样的， 可认为MRv2重用了MRv1的这些模块，不同的是资源管理和作业管理系统，MRv1中资源管理和作业管理均是由JobTracker实现的，集两个功能 于一身，而在MRv2中，将这两部分分开了， 其中，作业管理由ApplicationMaster实现，而资源管理由新增系统YARN完成。