大数据工程师题库及答案.docxVIP

大数据工程师题库及答案

一、单项选择题（共10题，每题1分，共10分）

下列关于HDFS默认数据块大小的描述，正确的是

A.默认块大小为32MB

B.默认块大小为64MB

C.默认块大小为128MB

D.默认块大小为256MB

答案：C

解析：HDFS作为分布式文件系统，为了适配大文件存储、减少元数据管理压力，官方默认配置的数据块大小为128MB。A选项32MB是早期小容量存储集群的非通用配置，B选项64MB是Hadoop2.0版本之前的旧默认值，D选项256MB是部分企业自定义调整的配置项，均不符合通用默认规则。

MapReduce计算流程中，Shuffle阶段的核心作用是

A.把Map任务的输出结果按照指定规则分组排序，传输到对应的Reduce节点

B.把分布式存储的原始数据分片分配给各个Map节点

C.汇总所有Reduce节点的输出结果生成最终计算结果

D.对计算任务进行资源调度分配

答案：A

解析：Shuffle是MapReduce流程中衔接Map和Reduce的核心阶段，负责完成Map输出的分区、排序、聚合，再将同组数据发送给对应的Reduce节点处理。B选项是InputFormat阶段的作用，C选项是OutputFormat阶段的作用，D选项是YARN资源管理器的核心作用。

下列组件中，通常用来提供分布式消息队列服务的是

A.HBase

B.Kafk