大数据技术与应用 - 大数据处理和分析 - MapReduce - 第四课.pdfVIP

大数据技术与应用 网络与交换技术国家重点实验室 交换与智能控制研究中心 程祥 2016年9月 提纲-大数据处理和分析 1. 批处理计算 1.1 MapReduce 1.2 Spark 2. 流计算 2.1 Storm 3. 图计算 3.1 Pregel 4. 分析和挖掘 4.1 Hive 4.2 Mahout 1 Mapreduce •1.1 MapReduce概述 •1.2 MapReduce体系结构 •1.3 MapReduce工作流程 •1.4 实例：WordCount •1.5 MapReduce编程实践 1.1 MapReduce概述 •1.1.1 分布式并行编程 •1.1.2 MapReduce简介 •1.1.3 Map和Reduce函数 1.1.1 分布式并行编程 • “摩尔定律”， CPU性能大约每隔18个月翻一番 • 摩尔定律从2005年开始逐渐失效，然而需要处理的 数据量快速增加，人们开始借助于分布式并行计算 来