大数据及MapReduce编程模型.pptVIP

其他示例 倒排索引 map函数分析每个文档,然后产生一个(词,文档号)对的序列.reduce函数接受一个给定词的所有对,排序相应的文档IDs,并且产生一个(词,文档ID列表)对.所有的输出对集形成一个简单的倒排索引 分布式排序 map函数从每个记录提取key,并且产生一个(key,record)对.reduce函数不改变任何的对. 第六十一页，共九十五页。 “实践是检验真理的唯一标准” 实践证明，MapReduce是出色的分布式计算模型 Google宣布，其对分布于1000台计算机上的1TB数据进行排序仅仅需要68s 对4000台计算机上的1PB数据进行排序处理仅需要6小时2分钟（每次测试至少会损坏1块硬盘） 在08年1月份，Google MapReduce平均每天的数据处理量是20PB，相当于美国国会图书馆当年5月份存档网络数据的240倍 第六十二页，共九十五页。 Hadoop上的MapReduce job: 是客户端程序想要完成的一系列工作的集合。包括输入数据，MapReduce程序和配置信息。 task: Hadoop将job分解为tasks 有两种类型的task: map task和reduce task jobtracker和tasktracker: 用来控制job执行的 tasktracker运行task，并向jobtracker报告进度信息 jobtracker记录下每一个job的进度信息，如果一个task失败，jobtracker会将其重新调度到另外的tasktracker上。 第六十三页，共九十五页。 Hadoop-MapReduce工作原理 第六十四页，共九十五页。 第六十五页，共九十五页。 Hadoop Streaming and Pipes Hadoop流 允许用Java以外的语言来编写Map和Reduce函数 Hadoop管道 C++接口 第六十六页，共九十五页。 流和管道及子进程的关系 第六十七页，共九十五页。 进度和状态更新 第六十八页，共九十五页。 Hadoop-MapReduce Mapper public static class **Mapper extends MapperObject, Text, Text, IntWritable Reducer public static class **Reducer extends educerText,IntWritable,Text,IntWritable Driver Package org.apache.hadoop.mapreduce.Job; org.apache.hadoop.mapreduce.Mapper; org.apache.hadoop.mapreduce.Reducer; 第六十九页，共九十五页。 接口描述 public interface MapperK1, V1, K2, V2 extends JobConfigurable, Closeable { void map(K1 key, V1 value, OutputCollectorK2, V2 output, Reporter reporter) throws IOException; } public interface ReducerK2, V2, K3, V3 extends JobConfigurable, Closeable { void reduce(K2 key, IteratorV2 values, OutputCollectorK3, V3 output, Reporter reporter) throws IOException; } 第七十页，共九十五页。 Mapper public static class Map extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { w