大数据测试题及答案.docxVIP

大数据测试题及答案

一、选择题（每题2分，共20分）

1.关于HDFS的块大小，以下描述正确的是？

A.默认128MB，可通过dfs.blocksize参数调整

B.默认64MB，不可调整

C.默认256MB，调整需重启NameNode

D.块大小与文件大小无关，所有文件均按固定块存储

答案：A

2.Spark中，以下哪个操作属于转换（Transformation）操作？

A.collect()

B.reduce()

C.map()

D.count()

答案：C

3.Hive中，以下哪种存储格式同时支持行存储和列存储？

A.TextFile

B.ORC

C.SequenceFile

D.RCFile

答案：B

4.Kafka中，分区（Partition）的主要作用是？

A.保证消息全局有序

B.提高消费者的并行处理能力

C.减少生产者的网络开销

D.限制单个Broker的存储容量

答案：B

5.以下哪个组件通常用于大数据场景中的元数据管理？

A.ZooKeeper

B.HBase

C.Atlas

D.Flume

答案：C

6.SparkShuffle过程中，默认使用的序列化方式是？

A.JavaSerializer

B.KryoSerializer

C.JSONSerializer

D.ProtobufSerializer

答案：A（注：Spark3.0+默认可能调整为Kryo，需根据具体版本判断）

7.关于Flink的窗口（Window），以下说法错误的是？

A.时间窗口（TimeWindow）分为滚动窗口和滑动窗口

B.计数窗口（CountWindow）基于事件数量触发计算

C.会话窗口（SessionWindow）通过超时时间分隔不同会话

D.所有窗口类型都需要显式指定窗口大小

答案：D

8.HBase中，RowKey的设计原则不包括？

A.散列化以避免热点

B.长度越短越好

C.按时间倒序存储最新数据

D.与列族（ColumnFamily）强关联

答案：D

9.数据仓库（DataWarehouse）的核心特性是？

A.实时性、高并发

B.面向主题、集成性、稳定性、时变性

C.支持事务操作（ACID）

D.基于内存的高速计算

答案：B

10.以下哪个指标不属于衡量分布式系统可用性的范畴？

A.平均故障间隔时间（MTBF）

B.平均修复时间（MTTR）

C.服务等级协议（SLA）中的可用时长比例

D.数据一致性级别

答案：D

二、填空题（每空2分，共20分）

1.HDFS默认块大小为______MB，块大小通过______参数配置。

答案：128；dfs.blocksize

2.SparkRDD的持久化（Persistence）级别中，MEMORY_AND_DISK_SER表示______。

答案：将RDD存储在内存中（序列化），内存不足时溢写磁盘（序列化）

3.Hive的元数据默认存储在______数据库中，生产环境通常会替换为______。

答案：Derby；MySQL

4.Kafka的消息存储在______中，每个分区的消息是______顺序的。

答案：日志文件（Log）；局部（分区内）

5.Flink的时间类型包括事件时间（EventTime）、摄入时间（IngestionTime）和______。

答案：处理时间（ProcessingTime）

6.数据倾斜（DataSkew）的典型表现是______，常见解决方法包括______（至少答一种）。

答案：部分任务执行缓慢甚至失败；加盐哈希、拆分JOIN键、使用广播变量

7.HBase的RegionServer负责管理______，其底层数据存储在______文件中。

答案：Region；HFile

三、简答题（每题8分，共40分）

1.简述HDFS的容错机制。

答案：HDFS通过以下方式实现容错：

（1）数据冗余：每个数据块默认复制3份，分布在不同机架的节点上；

（2）NameNode容错：通过SecondaryNameNode定期合并编辑日志（EditLog）和镜像文件（FsImage），或使用HA（高可用）方案（如QJM/DNN）实现主备NameNode切换；

（3）数据块校验：写入时计算校验和