数据科学导论 课件 第11章 大数据计算与分析.pptx

第11章大数据计算与分析11.1分布式计算MapReduce

分布式并行计算MapReduce运行在分布式文件系统HDFS上。MapReduce其实是一种编程模型，这个模型的核心步骤主要分两部分：Map（映射）和Reduce（归约）。当你向MapReduce框架提交一个计算作业任务时，框架会首先把计算作业拆分成若干个Map任务，然后分配到不同的计算机节点上去执行，每一个Map任务处理输入数据中的一部分，当Map任务完成后，会生成一些中间文件，这些中间文件会作为Reduce任务的输入数据，Reduce任务的主要目标就是把前面若干个Map的输出汇总到一起并输出。