大数据工程师笔试题（含答案）.docxVIP

大数据工程师笔试题（含答案）

一、选择题（每题5分，共30分）

以下关于HDFS的描述，错误的是（）

A.HDFS采用主从架构，NameNode负责管理元数据

B.DataNode负责存储实际数据块，默认数据块大小为128MB

C.HDFS适合存储大量小文件，能高效利用存储空间

D.HDFS具有容错性，通过数据块副本机制保障数据安全

Spark中，下列哪个算子是宽依赖算子（）

A.mapB.filterC.reduceByKeyD.flatMap

关于MapReduce的工作流程，正确的顺序是（）

①Map阶段②Shuffle阶段③Reduce阶段④InputFormat读取数据

A.④①②③B.①④②③C.④②①③D.①②④③

下列哪种数据库不属于列式存储数据库（）

A.HBaseB.CassandraC.MySQLD.ClickHouse

Flume采集数据时，哪个组件负责将数据传输到目的地（）

A.SourceB.ChannelC.SinkD.Agent

大数据处理中，“数据倾斜”指的是（）

A.数据在存储节点上分布不均，部分节点负载过高

B.数据格式不统一，导致解析失败

C.数据量过大，超出存储容量

D.数据传输过程中出现丢包现象

二、填空题（每题4分，共20分）

Hadoop生态中，负责资源调度的组件是__________，其核心机制是__________。

Spark的核心抽象是__________，它具有__________特性，支持惰性求值。

SQL中，计算用户近7天的活跃天数，可使用__________函数结合GROUPBY实现；统计每个分组的Top3数据，常用__________窗口函数。

HBase中，数据的存储单元由__________、__________和时间戳共同确定。

数据仓库的核心特性包括__________、__________、面向主题和随时间变化。

三、简答题（每题10分，共30分）

简述HDFS与传统文件系统的主要区别，以及HDFS适合的应用场景。

什么是SparkRDD的窄依赖和宽依赖？两者的区别对Spark任务执行有何影响？

简述数据倾斜的常见原因及解决思路。

四、实操题（20分）

现有用户行为日志表user_behavior，字段如下：

user_id：用户ID

action_time：行为时间（格式：yyyy-MM-ddHH:mm:ss）

action_type：行为类型（click：点击，collect：收藏，buy：购买）

product_id：商品ID

请使用SQL完成以下需求：

统计2024年6月每个商品的点击量、收藏量、购买量（10分）

找出2024年6月购买次数超过5次的用户，及其购买的商品种类数（10分）

答案解析

一、选择题

C解析：HDFS不适合存储大量小文件，小文件会占用大量NameNode元数据存储空间，导致元数据管理效率低下，适合存储大文件。

C解析：宽依赖指子RDD的每个分区依赖父RDD的多个分区，reduceByKey会触发Shuffle，属于宽依赖；map、filter、flatMap均为窄依赖（子RDD分区依赖父RDD单个分区）。

A解析：MapReduce工作流程：InputFormat读取数据→Map阶段处理数据→Shuffle阶段（分区、排序、合并）→Reduce阶段汇总结果。

C解析：MySQL是行式存储数据库，HBase、Cassandra、ClickHouse均为列式存储，适合大数据量下的聚合查询。

C解析：Flume的Agent由Source（采集数据）、Channel（缓存数据）、Sink（传输数据到目的地）组成。

A解析：数据倾斜核心是数据分布不均，导致部分任务处理数据量过大，运行缓慢。

二、填空题

YARN；资源隔离与调度（或：容器化调度）

RDD（弹性分布式数据集）；不可变（Immutable）

COUNT(DISTINCT)；ROW_NUMBER()（或RANK()、DENSE_RANK()）

行键（RowKey）；列族：列限定符（ColumnFamily:Qualifier）

集成性；不可更新性（或：稳定性）

三、简答题

主要区别：①架构：HDFS是分布式架构，传统文件系统是单机架构；②存储对象：HDFS适合大文件，传统文件系统可存储大小文件；③容错性：HDFS