培训课程3深入浅出hadoop.ppt

思考题 MapReduce框架的结构是什么 Map在整个MR框架中作用是什么 Reduce在整个MR框架中作用是什么 Java序列化的不足： 1.不精简。附加信息多。不大适合随机访问。 2.存储空间大。递归地输出类的超类描述直到不再有超类。序列化图对象，反序列化时为每个对象新建一个实例。相反。Writable对象可以重用。 3.扩展性差。而Writable方便用户自定义 深入浅出hadoop 课程安排 MapReduce原理*** MapReduce执行过程*** 数据类型与格式*** Writable接口与序列化机制*** ---------------------------加深拓展---------------------- MapReduce的执行过程源码分析 MapReduce概述 ◆MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. ◆MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 ◆这两个函数的形参是key、value对，表示函数的输入信息。 MR执行流程 Mapreduce原理 ◆执行步骤： 1. map任务处理 1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。 1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。 1.3 对输出的key、value进行分区。 1.4 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。 1.5 (可选)分组后的数据进行归约。 2.reduce任务处理 2.1 对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。 2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。 2.3 把reduce的输出保存到文件中。 例子：实现WordCountApp map、reduce键值对格式 函数 输入键值对 输出键值对 map() k1,v1 k2,v2 reduce() k2,{v2} k3,v3 WordCountApp的驱动代码 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); //加载配置文件 Job job = new Job(conf); //创建一个job，供JobTracker使用 job.setJarByClass(WordCountApp.class); job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); FileInputFormat.setInputPaths(job, new Path(hdfs://192.168.1.10:9000/input)); FileOutputFormat.setOutputPath(job, new Path(hdfs://192.168.1.10:9000/output)); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.waitForCompletion(true); } JobTracker 负责接收用户提交的作业，负责启动、跟踪任务执行。 JobSubmissionProtocol是JobClient与JobTracker通信的接口。 InterTrackerProtocol是TaskTracker与JobTracker通信的接口。 TaskTracker 负责执行任务。 JobClient 是用户作业与JobTracker交互的主要接口。 负责提交作业的，负责启动、跟踪任务执行、访问任务状态和日志等。 最小的MapReduce驱动 Configuration configuration = new Configuration(); Job job = new Job(configuration, HelloWorld); job.setInputFormat(TextIn