Hadoop之MapReduce详细操作文档.pdfVIP

1

第一章

MapReduce介绍

1.1

MapReduce概念及特点

MapReduce是Hadoop生态中的计算框架，用于大规模数据集的并行计算，我们可以通过编写

MapReduce程序对HDFS集群中海量数据进行相应业务逻辑处理，并将MapReduce程序运行在

Hadoop

Yarn集群中。

MapReduce作为第一代计算框架在当时各个互联网企业中使用非常普遍，但是随着Spark、Flink等

第二代计算框架的出现，目前MapReduce在企业中使用相对较少，逐渐被Spark、Flink后续发展起

来的计算框架替代，主要原因是MapReduce编程相比于其他计算框架有优点也有缺点。

1.1.1

MapReduce优点

1)

编程灵活：MapReduce模型是一种通用的并行计算框架，提供了相应编程接口，用户只需要实现

对应接口,根据自己的需求编写不同的map和reduce函数，即可实现各种不同的数据处理逻辑。

2)

可伸缩性：MapReduce程序可以运行在资源调度框架集群中，这些资源调度框架集群可以轻松地

扩展到数百或数千台服务器，以便MapReduce处理大规模的数据集。

3)

容错性：MapReduce框架内置了容错机制，能够处理节点故障和数据丢失,当一个节点出现故障

时，框架会重新调度任务到其他可用的节点上执行，保证了任务的顺利完成。

1.1.2

MapReduce缺点

1)

不能用于实时场景：MapReduce计算框架只适合处理批数据任务，不能对实时数据进行处理。

2)

复杂业务下代码编程复杂：虽然MapReduce模型的编程接口相对简单，但是在处理一些复杂的数

据处理任务时，可能需要编写大量的代码来实现，相比于后续的计算框架（如：Spark、Flink）给用

户提供了更高级的API便于处理复杂业务场景来说，MapReduce的编程相对复杂。

3)

不适合迭代计算：如果多个应用之间有数据依赖，MapReduce编程中需要每次将应用程序数据写

出到磁盘，供给下一个应用程序作为数据输入源使用，这在编程复杂性及磁盘IO上带来了复杂性，

影响编程效率和程序性能。而新一代计算框架（如Spark、Flink）可以将复杂多个业务逻辑编写到一

个应用程序中并可以基于内存进行数据传递。

虽然MapReduce目前在企业中使用较少，但是其处理数据的核心思想影响非常重要，甚至后续计算

框架处理数据时都参考了MapReduce处理数据的思想，所以学习好MapReduce也至关重要。

1.2

MapReduce

编程思想

假设现在有两个文件，数据如下，假如我们要读取文件中的数据进行wordcount统计，那么需要进

行如下步骤：

以上过程演示的就是MapReduce处理数据的大体流程，MapReduce模型由两个主要阶段组成：

Map阶段和Reduce阶段：

Map阶段：

在Map阶段中，输入数据被分割成若干个独立的块，并由多个Mapper任务并行处理，每个Mapper

任务都会执行用户定义的map函数，将输入数据转换成一系列键-值对的形式（Key-Value

Pairs），

这些键-值对被中间存储，以供Reduce阶段使用。

Map阶段主要是对数据进行映射变换，读取一条数据可以返回一条或者多条K,V格式数据。

Reduce阶段：

在Reduce阶段中，所有具有相同键的键-值对会被分配到同一个Reducer任务上，Reducer任务会执

行用户定义的reduce函数，对相同键的值进行聚合、汇总或其他操作，生成最终的输出结果，

Reduce阶段也可以由多个Reduce

Task并行执行。

Reduce阶段主要对相同key的数据进行聚合，最终对相同key的数据生成一个结果，最终写出到磁盘

文件中。

往往MapReduce读取的数据来自于HDFS集群中，处理完数据后写出到HDFS

在HDFS中数据以Block进行存储，Map阶段读取数据文件时，实际上首先会对文件进行Split分片，

每个分片大小默认与HDFS中block大小相同，也可以人为调整，每个