大数据面试题汇总-2.docxVIP

2.面试题

2.1.Hadoop的核心配置是什么？

Hadoop的核心配置通过两个xml文件来完成：1，hadoop-default.xml；2，hadoop-site.xml。这些文件都使用xml格式，因此每个xml中都有一些属性，

包括名称和值，但是当下这些文件都已不复存在。

2.2.那当下又该如何配置？

Hadoop现在拥有4个配置文件：1，core-site.xml；2，hdfs-site.xml；3，mapred-site.xml；4，yarn-site.xml。这些文件都保存在conf/子目录下。

2.3.“jps”命令的用处？

这个命令可以检查Namenode、Datanode、TaskTracker、JobTracker是否正常工作。

2.4.mapreduce的原理?

MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，

得到最终结果。简单地说，MapReduce就是任务的分解与结果的汇总。

在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker

是用于执行工作的。一个Hadoop集群中只有一台JobTracker。

在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理

过程高度抽象为两个函数：map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇总起来。

需要注意的是，用MapReduce来处理的数据集（或任务）必须具备这样的特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都

可以完全并行地进行处理。

2.5.HDFS存储的机制?

2.5.1.hdfs写流程

流程：

client链接namenode存数据

namenode记录一条数据位置信息（元数据），告诉client存哪。

client用hdfs的api将数据块（默认是64M）存储到datanode上。

datanode将数据水平备份。并且备份完将反馈client。

client通知namenode存储块完毕。

namenode将元数据同步到内存中。

另一块循环上面的过程。

2.5.2.读流程

流程：

client链接namenode，查看元数据，找到数据的存储位置。

client通过hdfs的api并发读取数据。

关闭连接。

2.6.举一个简单的例子说明mapreduce是怎么来运行的?

MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。

Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。

Mapper任务的执行过程详解

每个Mapper任务是一个Java进程，它会读取HDFS中的文件，解析成很多的键值对，经过我们覆盖的map方法处理后，

转换为很多的键值对再输出。整个Mapper任务的处理过程又可以分为以下六个阶段：

第一阶段是把输入文件按照一定的标准分片(InputSplit)，每个输入片的大小是固定的。默认情况下，输入片(InputSplit)

的大小与数据块(Block)的大小是相同的。如果数据块(Block)的大小是默认值128MB，输入文件有两个，一个是32MB，一个是

172MB。那么小的文件是一个输入片，大文件会分为两个数据块，那么是两个输入片。一共产生三个输入片。每一个输入片由

一个Mapper进程处理。这里的三个输入片，会有三个Mapper进程处理。

第二阶段是对输入片中的记录按照一定的规则解析成键值对。有个默认规则是把每一行文本内容解析成键值对。“键”是每一

行的起始位置(单位是字节)，“值”是本行的文本内容。

第三阶段是调用Mapper类中的map方法。第二阶段中解析出来的每一个键值对，调用一次map方法。如果有1000个键值对，就会

调用1000次map方法。每一次调用map方法会输出零个或者多个键值对。

第四阶段是按照一定的规则对第三阶段输出的键值对进行分区。比较是基于键进行的。比如我们的键表示省份(如北京、上海、

山东等)，那么就可以按照不同省份进行分区，同一个省份的键值对划分到一个区中。默认是只有一个区。分区的数量就是Reducer

任务运行的数量。默认只有一个Reducer任务。

第五阶段是对每个分区中的键值对进行排序。首先，按照键进行排序，对于键相同的