大数据面试题及Spark_Hadop实践含答案.docxVIP

第PAGE页共NUMPAGES页

2026年大数据面试题及SparkHadop实践含答案

一、单选题（共10题，每题2分）

考察点：大数据基础概念与Hadoop生态系统

1.在Hadoop生态系统中，HDFS的NameNode的主要功能是？

A.存储数据块元数据

B.直接管理数据块存储

C.负责任务调度

D.处理客户端数据读写请求

2.Spark中，RDD的持久化（Caching）主要依赖哪种存储方式？

A.内存（Memory）

B.SSD

C.HDFS

D.Redis

3.Hive中，以下哪个函数用于计算字符串的长度？

A.`COUNT()`

B.`LEN()`

C.`SUM()`

D.`MAX()`

4.在Kafka中，生产者发送消息时，哪种确认机制（ACK）意味着Broker会等待所有Follower同步完成？

A.ACK=0

B.ACK=1

C.ACK=all

D.ACK=none

5.SparkSQL中，以下哪个操作符用于SQL查询中的字符串匹配？

A.`LIKE`

B.`IN`

C.`BETWEEN`

D.`JOIN`

6.HadoopYARN的Resourcemanager主要负责什么？

A.数据块管理

B.资源分配与调度

C.任务执行监控

D.数据压缩

7.Zookeeper在分布式系统中主要解决什么问题？

A.数据备份

B.分布式锁

C.负载均衡

D.数据加密

8.MapReduce中，Reduce阶段的输入键值对来自？

A.Map阶段的输出

B.HDFS文件

C.HBase

D.Hive表

9.Spark中，哪种模式允许跨集群动态分配任务？

A.Standalone

B.YARN

C.Mesos

D.Kubernetes

10.HBase中，以下哪个是行键的存储方式？

A.Hash索引

B.B树

C.RowKey

D.LSM树

二、多选题（共5题，每题3分）

考察点：大数据技术组合应用

1.Spark中，以下哪些操作属于RDD的转换操作（Transformation）？

A.`map()`

B.`filter()`

C.`collect()`

D.`reduceByKey()`

2.Hadoop生态中，以下哪些组件属于存储系统？

A.HDFS

B.HBase

C.Hive

D.Zookeeper

3.Kafka中，以下哪些场景适合使用ConsumerGroup？

A.数据备份

B.流处理实时计算

C.消息去重

D.副本同步

4.SparkSQL中，以下哪些函数属于聚合函数？

A.`SUM()`

B.`AVG()`

C.`GROUP_CONCAT()`

D.`COUNT()`

5.HadoopYARN的资源调度策略包括？

A.FIFO

B.FairScheduler

C.CapacityScheduler

D.DRF

三、简答题（共5题，每题5分）

考察点：大数据实践与原理理解

1.简述HDFS的NameNode和DataNode的区别。

2.Spark中的Shuffle过程是什么？如何优化？

3.Hive中，如何使用分区（Partition）优化查询性能？

4.Kafka的消费者如何实现幂等性？

5.HBase中，为什么RowKey设计要遵循“左偏序”原则？

四、填空题（共10题，每题1分）

考察点：大数据术语与配置

1.Hadoop中的分布式文件系统简称______。

2.Spark的默认运行模式是______。

3.Hive中，将数据存储为ORC格式可以提升______。

4.Kafka中，生产者发送消息时，默认的ACK值是______。

5.HBase中，数据存储的最小单元是______。

6.Spark中，RDD的容错机制依赖______。

7.YARN中，ResourceManager的WebUI地址默认是______。

8.HDFS的块大小默认是______。

9.Zookeeper的最低版本要求是______。

10.Hive中，用于创建表的语句是______。

五、实践题（共2题，每题10分）

考察点：Spark/Hadoop代码实现与优化

1.编写SparkSQL代码，实现以下功能：

-读取HDFS上的CSV文件（无头），创建DataFrame。

-添加自增ID列（字段名`id`）。

-筛选`age`大于30的记录，按`name`降序排序。

-将结果输出为Parquet文件到HDFS。

2.编写HadoopMapReduce程序（Java），实现以下功能：

-输入