东方国信大数据岗位面试题（含参考答案）.docxVIP

东方国信大数据岗位面试题（含参考答案）

适用岗位：大数据开发工程师

题型：基础问答、框架实操、SQL、调优、项目场景题

一、基础概念题

1.简述HDFS的架构以及NameNode、DataNode各自职责

参考答案

HDFS采用主从架构，由一个NameNode、多个DataNode、SecondaryNameNode组成。

NameNode：集群主节点，负责维护文件系统元数据，包括文件目录树、文件块和DataNode之间的映射关系；接收客户端读写请求，分配数据块存储位置；不存储真实业务数据。NameNode把元数据持久化为fsimage，操作日志记录在edits文件。

DataNode：数据从节点，负责存储实际的数据块；按照NameNode指令完成数据块读写、复制、上报块状态；定时向NameNode发送心跳和块报告。

SecondaryNameNode：不是NameNode热备节点，核心作用是定期合并fsimage与edits日志，生成新的镜像文件，减轻NameNode内存压力，用于故障恢复，无法在NameNode宕机时直接接管服务。

2.什么是Hadoop的RDD？RDD五大特性是什么

参考答案

RDD是弹性分布式数据集，是Spark里对分布式数据的抽象，代表一个只读、分区的数据集，支持并行计算。

五大特性：

一系列分区（Partition），是数据的基本单位；

每个分区的计