hadoop 性能调优 重要参数设置技巧.pdfVIP

ffpp119966339911119966339911的的专专栏栏 hhaaddoooopp 性性能能调调优优 重重要要参参数数设设置置技技巧巧 分类： hadoop 2012 12 16 19:53 689人阅读 评论 (0) 收藏 举报 这里主要针对Mapreduce的性能调优。 这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后 人~ 这里主要涉及的参数包括： HDFS： dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks  mapred.tasktracker.map.tasks.maximum mapred.reduce.tasks  mapred.tasktracker.reduce.tasks.maximum mapred.reduce.max.attempts mapred.reduce.parallel.copies mapreduce.reduce.shuffle.maxfetchfailures mapred.child.java.opts mapred.reduce.tasks.speculative.execution press.m