《大数据与云计算》课件——9.MapReduce架构与工作机制.pptxVIP

知识点MapReduce架构

3MapReduce与高性能计算、网格计算的区别1MapReduce特点2MapReduce架构MapReduce架构

MapReduce特点Hadoop中的MapReduce是一个使用简单的软件框架。基于它写出来的应用程序能够执行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce特点它简单的实现一些接口，就能够完毕一个分布式程序。这个分布式程序能够分布到大量便宜的PC机器执行。也就是说写一个分布式程序，跟写一个简单的串行程序是一模一样的。MapReduce易于编程当计算资源不能得到满足的时候，能够通过简单的添加机器来扩展它的计算能力。良好的扩展性MapReduce设计的初衷就是使程序能够部署在便宜的PC机器上，这就要求它具有非常高的容错性。比方当中一台机器挂了，它能够把上面的计算任务转移到另外一个节点上面上执行。不至于这个任务执行失败。并且这个过程不须要人工參与。而全然是由Hadoop内部完毕的。高容错性这里离线处理，说明它适合离线处理而不适合在线处理。比方像毫秒级别的返回一个结果。MapReduce非常难做到适合PB级以上海量数据的离线处理

HadoopMapReduce1.0的架构如图所示，由Client（客户端）、JobTracker（作业跟踪器）、TaskTracker（任务跟踪器）、Task（任务）组成。MapReduce架构

MapReduce架构JobClient用户编写的MapReduce程序通过JobClient提交给JobTrackerJobTrackerJobTracker主要负责资源监控和作业调度，并且监控所有TaskTracker与作业的健康情况，一旦有失败情况发生，就会将相应的任务分配到其他结点上去执行TaskTrackerTaskTraker会周期性地将本结点的资源使用情况和任务进度汇报给JobTracker，与此同时会接收JobTracker发送过来的命令并执行操作TaskTask分为MapTask和ReduceTask两种，由TaskTracker启动，分别执行Map和Reduce任务。一般来讲，每个结点可以运行多个Map和Reduce任务

MapReduce设计的一个核心理念就是“计算向数据靠拢”，而不是传统计算模式的“数据向计算靠拢”。这是因为移动大量数据需要的网络传输开销太大，同时也大大降低了数据处理的效率HadoopMapReduce框架和HDFS是运行在一组相同的结点上的。这种配置允许框架在那些已经存好数据的结点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用，从而减少了结点间数据的移动MapReduce架构

MapReduce架构Hadoop2.0结构图

MapReduce架构HadoopMapReduce框架由一个单独的JobTracker和每个集群结点都有的一个TaskTracker共同组成JobTracker负责调度构成一个作业的所有任务，这些任务分布在不同的TaskTracker上，JobTracker监控它们的执行，并重新执行已经失败的任务TaskTracker仅负责执行由JobTracker指派的任务应用程序需要指定I/O的路径，并通过实现合适的接口或抽象类提供Map和Reduce函数，再加上其他作业参数，就构成了作业配置（JobConfiguration)Hadoop的Client提交作业（如Jar包、可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给TaskTracker，调度任务并监控它们的执行，同时提供状态和诊断信息给JobClient

MapReduce与高性能计算、网格计算的区别并行计算并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能（处理器能力或存储器），使用多处理器求解单个问题。并行的主体是处理器；进程/线程级并行

MapReduce与高性能计算、网格计算的区别分布式计算分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命SET