Hadoop任务调度器.pptVIP

Hadoop任务调度器 演讲人：董西成 技术博客：dongxicheng.org sina微博：西成懂 提纲 基础知识 Hadoop调度流程 Hadoop自带调度器介绍 编写自己的Hadoop调度器 总结 基础知识 基础知识 heartbeat TaskTracker周期性（默认为3s）调用RPC向JobTracker汇报信息，形成heartbeat 汇报信息包括TaskTracker状态信息、Task运状况等 Slot 资源划分单位 分为map slot和reduce slot两种 由参数mapred.tasktracker.[map|reduce].tasks.maximum设置 Hadoop调度流程 TaskTracker TaskTracker TaskTracker JobTracker TaskScheduler ④ assignTasks() ⑤ task list ③ TaskTrackerStatus, askForNewTask ⑥ tasks-to-lauch Task ⑦ launch ③ ③ Client ① submitJob() ② notify initJob() Hadoop作业描述方式 JobInProgress TaskInProgress TaskInProgress TaskInProg