4.2.2MapReduce计数器的基本原理(三）.pptxVIP

《大数据平台部署与运维》《大数据平台部署与运维》课程组计数器的基本原理

统计用户每天登录该网站次数 publicclassLogCountCombinerextendsReducerMemberLogTime,IntWritable,MemberLogTime,IntWritable{ @Override protectedvoidreduce(MemberLogTimekey,IterableIntWritablevalue, ReducerMemberLogTime,IntWritable,MemberLogTime,IntWritable.Contextcontext) throwsIOException,InterruptedException{ intsum=0; for(IntWritableval:value){ sum+=val.get(); } context.write(key,newIntWritable(sum)); }}

HadoopMapReduce–——分区器（Partitioner） 分区器决定键值对发送的reducer地址

HadoopMapReduce–——分区器（Partitioner） 1.Mapper输出键值对2.每个键值对被发送到Partitioner