hadoop开发经验分享3研讨.pptxVIP

Hadoop从入门到精通 Hadoop开发经验分享 Hadoop应用开发 10、Combiner的使用 计算公司共需要支付的总钱数(社保+税+税后工资） 不使用Counter，使用成员变量 设成相同的key，在reduce端将value相加，设置1个reduce public void map(Object key, Text value, Context context) throws IOException, InterruptedException{ String money = value.toString().substring(line.indexOf(:)+1); context.write(new Text(), new Text(money)); } public void reduce(Text key, IterableText values, Context context) throws IOException, InterruptedException{ double total = 0; for(Text value:values) { total += Double.parseDouble(value.toString()); } context.write(key, new Text(String.format(%.2f, total))); } Hadoop应用开发 10、Combiner的使用 计算公司共需要支付的总钱数(社保+税+税后工资） 不使用Counter，使用成员变量 设成相同的key，在reduce端将value相加，设置1个reduce Map input records=27 Map output records=27 Combine input records=0 Combine output records=0 Reduce input groups=1 Reduce input records=27 Reduce output records=1 Hadoop应用开发 10、Combiner的使用 在map中就可以进行数据合并，这样传输到reduce端的数据量就会减少，通过使用combiner来实现 job.setCombinerClass(BonusCombinerReducer.class); Map input records=27 Map output records=27 Combine input records=27 Combine output records=1 Reduce input groups=1 Reduce input records=1 Reduce output records=1 Hadoop应用开发 10、Combiner的使用 Combiner的机制和Reduce类似，在map端和在reduce端都有可能进行combiner Map端在Spill和Merge过程中都可能进行combiner QiHao 300 ShaoHaimin 400 YuHao 30 ZhangKun 600 ZhangYoushu 40 Buffer part1 ----------------------------------------------- part2 Partitioner JiangQiancheng 500 LiXiao 400 LiYi 20000 LiZhichao 500 Hadoop应用开发 10、Combiner的使用 Combiner的机制和Reduce类似，在map端和在reduce端都有可能进行combiner Map端在Spill和Merge过程中都可能进行combiner JiangQiancheng 500 LiXiao 400 QiHao 300 ShaoHaimin 400 YuHao 30 JiangQiancheng 500 LiXiao 400 QiHao 300 ShaoHaimin 400 YuHao 30 Hadoop应用开发 10、Co