大数据培训教程Hadoop的mapreduce搭建-北京尚学堂.pdfVIP

北京尚学堂提供 Hadoop 的 mapreduce搭建 MapReduce 首先是 spliting 吧一个块切割成各种小的 MapReduce 的 split 大小 Max.split(100M) Min.split(10M) Block(64M) Max(min.split, min(max.split,block)) MapReduce 的架构 主多从结构 主 JobTracker: 负责调度分配每个子任务 taskTracker 上，如果发现有失败的 task 就重新分配其任务到其他 节点，每个 hadoop 集群中只一个 JobTracker 一般它运行在 Master 节点上 （也就是 secondaryNode） 从 TaskTracker Tasktracker 主动与 JobTracker 通信，接收作业，并负责直接执行每一个任务，为了减少网 络带宽 TaskTracker 最好运行在 HDFS 的 datanode上 开始搭建 我们随意指定一台机器为主 JobTracker 我们用 node2作为 JobTracker 修改配置文件 北京尚学堂 -c