Hadoop作业调度源码分析.docVIP

首 页 文档资料 下载资料 hadoop作业调度 - 源码分析 减小字体 增大字体 作者：佚名??来源：本站整理??发布时间：2010-03-04 10:58:31 关键字： ibatisnet 尾递归 NVelocity SourceSafe SharpMap hadoop作业调度 - 源码分析。 　　图片看不清楚？请点击这里查看原图（大图）。 　　TaskScheduler是作业调度器的抽象基类. 具体的实现有: 　　JobQueueTaskScheduler: 默认的FIFO调度队列 　　LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制. 　　CapacityScheduler: Yahoo开发的一个基于容量的作业调度器 　　FairScheduler: 公平调度器, 保证小任务得到快速响应, 大任务保证服务水平, 由facebook开发. 　　JobTracker维护一个TaskScheduler的实例,并托管其生命周期. 　　TaskScheduler实例伴随JobTracker一起构造 　　　 JobTracker(JobConf conf) throws IOException, InterruptedException {　　　　　　　 　　　　　　　 // 创建调度器　　　　　　　 Class? extends TaskScheduler schedulerClass = conf.getClass(mapred.jobtracker.taskScheduler,　　 　　　　　　　　　　　 JobQueueTaskScheduler.class, TaskScheduler.class);　　　　　　　 taskScheduler = (TaskScheduler) ReflectionUtils.newInstance(schedulerClass, conf);　　　　　　　 　　　 } 　　启动JobTracker的主方法中, 构造JobTracker对象并给taskScheduler设置TaskTrackerManager实例字段: public static JobTracker startTracker(JobConf conf) throws IOException, InterruptedException {　　　 JobTracker result = null;　　　 while (true) {　　　　　　　 　　　　　　　　　　　 result = new JobTracker(conf);　　　　　　　　　　　 // 给taskScheduler设置TaskTrackerManager实例　　　　　　　　　　　 result.taskScheduler.setTaskTrackerManager(result);　　　　　　　　　　　 break;　　　　　　　 　　　　　　　 Thread.sleep(1000);　　　 }　　　 if (result != null) {　　　　　　　 JobEndNotifier.startNotifier();　　　 }　　　 return result;}关键字： ibatisnet 尾递归 NVelocity SourceSafe SharpMap hadoop作业调度 - 源码分析。 　　在offerService中回调其start()方法: public void offerService() throws InterruptedException, IOException {　　　 taskScheduler.start();　　　 } 　　taskScheduler在JobTracker.heartbeat方法中进行任务指派: public synchronized HeartbeatResponse heartbeat(TaskTrackerStatus status, 　　　 boolean restarted, boolean initialContact, 　　　 boolean acceptNewTasks, short responseId) throws IOException {　　　 　　　 // 如果当次心跳允许指派任务，且当前上报心跳的taskTracker可接收新task(传入的acceptNewTasks为true)　　　 //, 并且其不在黑名单中, 则进入调度　　　 if (recoveryManager.shoul