.java课件源码-.java课件源码-Note04.pdf

Hadoop Day 04 1. MapReduce 中的计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅 助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务， 更好的方法通常是看 能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器 更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的 发生次数要比分析一堆日志文件容易得多。 hadoop内置计数器列表 MapReduce任务 org.apache.hadoop.mapreduce.TaskCounter 计数器 文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter FileInputFormat org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter 计数器 FileOutputFormat org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter 计数器 作业计数器 org.apache.hadoop.mapreduce.J obCounter 每次mapreduce执行完成之后，我们都会看到一些日志记录出来，其中最重要的一些日志 记录如下截图 所有的这些都是MapReduce的计数器的功能，既然MapReduce当中有计数器的功能，我 们如何实现自己的计数器？？？ 需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数 第一种方式 第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录 通过context上下文对象，在map端使用计数器进行统计  public class SortMapper extends  Mapper<LongWritable,Text,PairWritable,IntWritable> {     private PairWritable mapOutKey = new PairWritable();     private IntWritable mapOutValue = new IntWritable();     @Override     public  void map(LongWritable key, Text value, Context context) throws  IOException, InterruptedException { //自定义我们的计数器，这里实现了统计map数据数据的条数         Counter counter = context.getCounter("MR_COUNT",  "MapRecordCounter");         counter.increment(1L);         String lineValue = value.toString();         String[] strs = lineValue.split("\t");         //设置组合key和value ==> <(key,value),value>         mapOutKey.set(strs[0], Integer.valueOf(strs[1]));         mapOutValue.set(Integer.valueOf(strs[1]));         context.write(mapOutKey, mapOutValue);     } } 运行程序之后就可以看到我们自定义的计数器在map阶段读取了七条数据 第二种方式