2026年IT行业数据工程师面试常见问题集.docxVIP

第PAGE页共NUMPAGES页

2026年IT行业数据工程师面试常见问题集

一、技术基础与原理（共5题，每题10分，总分50分）

1.1数据存储与处理（10分）

题目：

请比较分布式文件系统HDFS和对象存储S3在数据存储、访问控制和成本效益方面的差异，并说明在什么场景下优先选择哪种系统。

答案：

HDFS（HadoopDistributedFileSystem）和S3（SimpleStorageService）是两种主流的数据存储解决方案，适用于不同场景。

差异比较：

1.数据存储

-HDFS：适用于大规模、一次写入、多次读取的数据集，支持大文件存储（最低64MB文件大小限制），采用块级存储（128MB默认块大小），通过NameNode和DataNode架构实现分布式存储。

-S3：基于对象存储，支持任意大小文件存储，无大小限制，采用键值对存储，通过API访问，适合混合读写操作。

2.访问控制

-HDFS：基于Hadoop权限系统，支持传统文件系统权限（Owner/Group/Other权限），适合企业级权限管理。

-S3：提供细粒度访问控制（IAM策略、ACLs），支持跨区域访问和加密，更适合云原生应用。

3.成本效益

-HDFS：自建成本低，但运维复杂，适合已有Hadoop生态企业；公有云版（如AWSEMR）可降低运维成本，但费用仍与存储/计算资源挂钩。

-S3：按量付费，无最低消费，适合弹性需求场景，如大数据临时存储或备份。

场景选择：

-优先选择HDFS：

-大规模日志处理（如互联网日志分析）；

-机器学习训练数据（批处理为主）；

-需要严格权限控制的企业环境。

-优先选择S3：

-数据湖建设（混合读写需求）；

-云迁移项目（无需自建存储）；

-需要高可用和全球分布的场景。

1.2数据清洗与ETL（10分）

题目：

设计一个ETL流程处理以下场景：某电商平台每天产生数百万订单，数据包含缺失值、异常值和重复记录，需要清洗后存入数据仓库。请说明清洗步骤和关键代码逻辑。

答案：

ETL清洗步骤：

1.数据抽取（Extract）

-源数据：MySQL订单表（ordertable），字段包括订单ID、用户ID、金额、订单时间等。

-抽取工具：ApacheNiFi或AWSGlue，支持增量抽取（基于时间戳）。

2.数据转换（Transform）

-缺失值处理：

-用户ID缺失：用默认值（如UNKNOWNUSER）填充，并记录到监控表；

-金额缺失：用平均值填充，但需标记为空值影响分析；

-订单时间缺失：用当前时间填充，但需在报表中注明。

-异常值检测：

-金额：金额1百万直接标记为异常；金额0视为无效订单；

-用户ID：不在主用户表的ID归为未知。

-重复记录：

-根据订单ID去重，保留最早订单；

-对重复记录计算差异字段（如金额变化）。

-数据标准化：

-时间格式统一为UTC；

-地址字段去除特殊字符。

3.数据加载（Load）

-目标：Snowflake数据仓库的orderstaging表，后续通过SparkSQL进行聚合。

-加载策略：增量更新（Kafka接入），全量更新（每日凌晨）。

关键代码逻辑（SparkSQL示例）：

sql

--缺失值处理

WITHtransformedAS(

SELECT

orderid,

COALESCE(userid,UNKNOWNUSER)ASuserid,

CASEWHENamountISNULLTHENAVG(amount)OVER()ELSEamountENDASamount,

COALESCE(ordertime,CURRENTTIMESTAMP())ASordertime

FROMordertable

)

--异常值检测

SELECT

orderid,

CASE

WHENamount1000000THENANOMALY

WHENamount0THENINVALID

ELSENORMAL

ENDASstatus,

...

FROMtransformed

1.3大数据处理框架（10分）

题目：

比较SparkCore和SparkSQL在内存管理、性能优化和适用场景上的差异，并说明如何解决Spark作业中的内存溢出问题。

答案：

差异比较：

1.内存管理

-SparkCore：仅提供RDD抽象，内存管理完全依赖用户代码；

-SparkSQL：基于Catalyst优化器，自动内存分配（Shuffle、Broadcast等）。

2.性能优化

-SparkCore：需手动优化（如