云计算分布式大数据Hadoop深入浅出案例驱动实战.pptVIP

调度机制 缺省为先入先出作业队列调度 支持公平调度器 支持容量调度器 第一百五十八页，共二百一十五页。 任务执行优化 推测式执行：即如果jobtracker发现有拖后腿的任务，会再启动一个相同的备份任务，然后哪个先执行完就会kill去另外一个。因此在监控网页上经常能看到正常执行完的作业有被kill掉的任务 推测式执行缺省打开，但如果是代码问题，并不能解决问题，而且会使集群更慢，通过在mapred-site.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或关闭推测式执行 重用JVM，可以省去启动新的JVM消耗的时间，在mapred-site.xml配置文件中设置mapred.job.reuse.jvm.num.tasks设置单个JVM上运行的最大任务数（1，1或-1表示没有限制） 忽略模式，任务在读取数据失败2次后，会把数据位置告诉jobtracker，后者重新启动该任务并且在遇到所记录的坏数据时直接跳过（缺省关闭，用SkipBadRecord方法打开） 第一百五十九页，共二百一十五页。 错误处理机制：硬件故障 硬件故障是指jobtracker故障或tasktracker故障 jobtrac