MapReduce应用场景、原理.PDFVIP

MapReduce应用场景、原理 与基本架构 讲师：董西成 Open Passion Value 2013/10/7 目录 1. MapReduce的应用场景 2. MapReduce编程模型 3. MapReduce的架构 4. MapReduce调度器 5. MapReduce配置与部署 6. 常见MapReduce应用场景 7. 总结 2 2013/10/7 MapReduce的定义  源自于Google的MapReduce论文  发表于2004年12月  Hadoop MapReduce是Google MapReduce克隆版  MapReduce特点  易于编程  良好的扩展性  高容错性  适合PB级以上海量数据的离线处理 3 2013/10/7 MapReduce的特色—不擅长的方面  实时计算 像MySQL一样，在毫秒级或者秒级内返回结果  流式计算 MapReduce的输入数据集是静态的，不能动态变化 MapReduce 自身的设计特点决定了数据源必须是静 态的  DAG计算 多个应用程序存在依赖关系，后一个应用程序的 输入为前一个的输出 4 2013/10/7 目录 1. MapReduce的应用场景 2. MapReduce编程模型 3. MapReduce的架构 4. MapReduce调度器 5. MapReduce配置与部署 6. 常见MapReduce应用场景 7. 总结 5 2013/10/7 MapReduce的实例—Wordcount  场景：有大量文件，里面存储了单词， 且一个单词占一行  任务：如何统计每个单词出现的次数？  类似应用场景： 搜索引擎中，统计最流行的K个搜索词； 统计搜索词频率，帮助优化搜索词提示 6 2013/10/7 MapReduce的实例—Wordcount  Case 1：整个文件可以加载到内存中；  sort datafile | uniq -c  Case 2：文件太大不能加载到内存中，但 word, count可以存放到内存中；  Case 3：文件太大无法加载到内存中，且 word, count也不行 7 2013/10/7 MapReduce的实例—Wordcount  将问题范化为：有一批文件（规模为TB级或 者PB级），如何统计这些文件中所有单词出 现的次数；  方案：首先，分别统计每个文件中单词出现 次数，然后累加不同文件中同一个单词出现 次数；  典型的MapReduce过程。 8 2013/10/7 MapReduce编程模型—WordCount 9 2013/10/7 MapReduce编程模型—WordCount Input: 一系列key/value对 用户提供两个函数实现: map(k,v)  list(k1,v1) reduce(k1, list(v1))  v2 (k1,v1) 是中间key/value结果对 Output：一系列(k2,v2)对 10 2013/10/7 Ma