Hadoop大数据开发基础与案例实战（微课版）课件 5.5WordCount代码实现- Redcuer实现.pptx

Hadoop大数据项目开发——单词统计功能代码-Redcuer实现

目录content02Reducer阶段代码编写01Mapper阶段代码编写03Drive阶段代码编写

Reducer阶段代码importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer;publicclassWordcountReducerextendsReducerText,IntWritable,Text,IntWritable{ @Override protectedvoidreduce(Textkey,IterableIntWritablevalues, Contextcontext)throwsIOException,InterruptedException{ intcount=0; IteratorIntWritableiterator=values.iterator(); while(iterator.hasNext()){ IntWritablevalue=iterator.next(); count+=value.get();//对相同键值的单词键值进行累加 } context.write(key,newIntWritable(count)); }}

继承Reducer类代码中使用extends关键字继承ReducerKEYIN,VALUEIN,KEYOUT,VALUEOUT类。此时Mapper的输出，经过Shuffle过程，成为Reducer的输入，所以ReducerKEYIN,VALUEIN,KEYOUT,VALUEOUT数据类型与Mapper输出的数据类型一致，即ReducerText,IntWritable,Text,IntWritable,输入Reducer后会自动补全。

重写reduce方法

重写reduce方法删除此行

重写reduce方法reduce()方法编写逻辑代码：intcount=0;IteratorIntWritableiterator=values.iterator();while(iterator.hasNext()){//判断是否还有元素 IntWritablevalue=iterator.next();//获取下一个元素 count+=value.get();//对相同键值的单词键值进行累加}context.write(key,newIntWritable(count));