大数据存储与处理培训课件.pptVIP

推测执行：既如果jobtracker发现拖后腿的任务，会再启动相同的备份任务，然后那个先执行完成就会去kill掉另外一个。因此在监控网页上经常能看到正常执行完成的作业有被kill的任务。 推测执行默认打开，但是如果是代码的问题，并不能解决问题，而且会使集群更慢，通过mapred-side.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或者关闭推测执行。 重用jvm，可以省去启动新的jvm消耗时间， mapred-side.xml文件中设置mapred.job.reuse.jvm.num.tasks单个jvm最大执行的任务数（1，1或-1表示没有限制） 忽略模式：任务在读取任务数据失败2次之后，会把数据位置报告给jobtracker，然后重新启动该任务并在遇到所记录的坏数据位置时直接跳过（默认关闭，同SkipBadRecord方法打开） * 任务执行优化 第六十一页，共八十五页。 硬件故障是指jobtracker故障或tasktracker故障 Jobtracker是单点，若发生故障目前hadoop还无法处理，唯有选择最牢靠的硬件作为jobtracker Jobtracker通过心跳信号（周期1分钟）了解tas