MapReduce工作原理[参考].pdfVIP

MapReduce工作原理 1 MapReduce原理（一） 1.1 MapReduce编程模型 MapReduce采用 分而治之 的思想，把对大规模数据集的操作，分发给一个主节点管理下的 各个分节点共同完成， 然后通过整合各个节点的中间结果， 得到最终结果。 简单地说， MapReduce 就是 任务的分解与结果的汇总 。 在 Hadoop中，用于执行 MapReduce任务的机器角色有两个：一个是 JobTracker ；另一个是 TaskTracker ，JobTracker 是用于调度工作的， TaskTracker 是用于执行工作的。一个 Hadoop集 群中只有一台 JobTracker 。 在分布式计算中， MapReduce框架负责处理了并行编程中分布式存储、 工作调度、 负载均衡、 容错均衡、 容错处理以及网络通信等复杂问题， 把处理过程高度抽象为两个函数： map和 reduce ， map负责把任务分解成多个任务， red