数据工程师高频面试题及详细答案（实战接地气版）.docxVIP

数据工程师高频面试题及详细答案（实战接地气版）.docx

数据工程师高频面试题及详细答案（实战接地气版）

一、基础理论篇（必问基础）

1、请简单说说你理解的数据工程师的工作内容，和数据分析师的区别？

参考答案：

数据工程师核心是搭数据底座、做数据基建，主要负责数据采集、清洗、分层建模、数仓搭建、数据调度、任务运维、数据质量保障，产出标准化、稳定、可用的数据，给分析师、算法、业务报表提供数据源。

和数据分析师的核心区别：

1）数工偏向数据生产和基建，重技术、重流程、重稳定性，解决“数据有没有、准不准、稳不稳”的问题；

2）分析师偏向数据应用和业务解读，重分析、重洞察、重落地，解决“数据说明了什么、业务怎么优化”的问题。

2、什么是ETL和ELT？工作中分别怎么用？

参考答案：

ETL是抽取、转换、加载；ELT是抽取、加载、转换，核心区别是转换环节的时机和位置不同。

1）ETL：先从数据源抽数，在中间流程做清洗、转换、脱敏，再加载到数仓。适合传统离线数仓、数据量偏小、需要提前清洗脏数据的场景，缺点是转换效率低、扩展性差。

2）ELT：先把原始数据完整加载到数仓，再在数仓内部做清洗、建模、转换。现在主流大数据场景基本都是ELT，比如Hive、Spark、大数据云数仓，优势是速度快、容错高、原始数据可回溯，方便后续迭代加工。

我日常工作都是ELT模式，先同步原始日志、业务库数据到ODS层，再逐层清洗加工。