Map和ReduceTask数量对于Hadoop性能的影响.pdfVIP

一、 实验环境 1 个master 节点, 16 个slave 节点: CPU:8GHZ , 内存: 2G 网络：局域网 二、 实验描述 通过Hadoop 自带的Terasort 排序程序，测试不同的map task 和reduce task 数量，对 Hadoop 性能的影响。 实验数据由程序中的teragen 程序生成，数据量为1GB 和10GB。 通过设置mapred.min.split.size，从而调节map task 的数量；设置 mapred.reduce.tasks，从而调节reduce task 的数量； dfs.replication 的值设为3，其它参数默认。 三、 实验结果与分析 Ø 实验一 表1、改变reduce task （数据量为1GB) Map task = 16 Reduce task 1 5 10 15 16 20 25 30 45 60 总时间 892 146 110 92 88 100 128 101 145 104 Map 时间 24 21 25 50 21 40 24 48 109 25 Reduce 时间 875 125 88 71 67 76 102 80 98 83 Killed map/reduce 0/0 0/2 0/2 0/5 0/4 0/9 0/9 0/8 1/7 0/17 Task Attempts 结果分析： 1) 当reduce task 的值小于15 时，总时间和Reduce 时间都与Reduce task 数量成 反比关系。当reduce task 的值大于15 时，总时间和reduce 时间基本保持恒定。Reduce task 的数量应该设置为接近slave 节点数量，或者适当大于节点数，不宜设置为比节点数 量小太多。 2) Map 时间与Reduce task 之间没有明显的关系。 3) Killed map Task Attempts 的值对Map 的时间影响很大，表1 中当reduce task = 45 时，Killed map Task Attempts 的值为1，此时Map 的时间很长，从图1 可看出，map 的时间主要集中在map 99%的最后阶段。 4) job 运行过程中产生Killed Task Attempts 的原因：这是因为hadoop 里面对task 的speculative 机制。简单来说就是hadoop 觉得有些task 运行过慢，所以它在其它 tasktracker 上同时再运行同样的任务，当其中一个完成后，其余同样的任务就会被kill 掉。这就造成有多个被kill 的taskattempt 。可以通过设置 mapred.map.tasks.speculative.execution 为false 来禁止hadoop 的这种行为，这样可以 提高效率，因为每个speculative 都是占用task 的slot 的。 图1、表1 中当reduce task = 45 的执行过程 Ø 实验二 表2 改变reduce task(数据量为1GB) Reduce task = 15 Map task 2 4 8 16 Input Split Size 512 256 12864 总时间 372 181 120 120 平均 Map 时间 287 63 38 26 Map 结束时间 292 49 35 36 平均Shuffle 时间 12 42