MapReduce应用场景、原理、基本架构及使用方法.pdf

MapReduce应用场景、 原理、基本架构及使用 方法 主要内容 1 MapReduce概述 2 MapReduce编程模型 3 MapReduce基本架构和原理 4 MapReduce程序设计 主要内容 1 MapReduce概述 2 MapReduce编程模型 3 MapReduce基本架构和原理 4 MapReduce程序设计 MapReduce概述 Ø  源自于Google的MapReduce论文 ü  发表于2004年12月 ü  Hadoop MapReduce是Google MapReduce克隆版 Ø  MapReduce特点 ü  易于编程 ü  良好的扩展性 ü  高容错性 ü  适合PB级以上海量数据的离线处理 4 MapReduce的特色—不擅长的方面 Ø  实时计算 ü 像MySQL一样，在毫秒级或者秒级内返回结果 Ø  流式计算 ü MapReduce的输入数据集是静态的，不能动态变化 ü MapReduce 自身的设计特点决定了数据源必须是静 态的 Ø  DAG计算 ü 多个应用程序存在依赖关系，后一个应用程序的 输入为前一个的输出 5 主要内容 1 MapReduce概述 2 MapReduce编程模型 3 MapReduce基本架构和原理 4 MapReduce程序设计 MapReduce的实例—Wordcount Ø  场景：有大量文件，里面存储了单词， 且一个单词占一行 Ø  任务：如何统计每个单词出现的次数？ Ø  类似应用场景： ü 搜索引擎中，统计最流行的K个搜索词； ü 统计搜索词频率，帮助优化搜索词提示 7 MapReduce的实例—Wordcount Ø  Case 1：整个文件可以加载到内存中； ü  sort datafile | uniq -c Ø  Case 2：文件太大不能加载到内存中，但 word, count可以存放到内存中； Ø  Case 3：文件太大无法加载到内存中，且 word, count也不行 8 MapReduce的实例—Wordcount Ø  将问题范化为：有一批文件（规模为TB级或 者 PB级），如何统计这些文件中所有单词出 现的次数； Ø  方案：首先，分别统计每个文件中单词出现 次数，然后累加不同文件中同一个单词出现 次数； Ø  典型的MapReduce过程。 9 MapReduce编程模型—WordCount 10 MapReduce编程模型—WordCo