MapReduce主从架构与任务调度机制.pdfVIP

MapReduce的架构

主从结构:

--主

JobTracker:

负责调度分配任务

task到

TaskTracker上执行，若发现失败的

task

则重新分配到其他节点。每个

Hadoop

集群仅有一个

JobTracker，通常运行在

Master

节点上。

‑‑TaskTracker:

主动与

JobTracker

通信，接收作业并直接执行任务。为减少网络带

宽消耗，TaskTracker

建议运行在

HDFS

的

DataNode

上；

从应用层面看：集群节点由

JobTracker和若干TaskTracker

组成。JobTracker

负

责任务调度，TaskTracker

负责任务执行。因此

TaskTracker

需运行在

DataNode

上，而

NameNode

与

JobTracker

无需部署在同一台机器。

MapReduce的架构

主从结构：

--主JobTracker：负责调度分配内一个任务task运行于tasktracker上，如果发现有失

败的task就重新分配其任务到其它节点。每一个hadoop集群只有一个JobTracker，

一般它运行在Master节点上。

--TaskTracker：tasktracker主动与jobtracker通信，接收作业，并负责直接执行每一