ETL工程师面试题.docx

ETL工程师面试题

数据抽取（Extract）相关问题

请描述在关系型数据库中进行全量抽取和增量抽取的实现方式及适用场景。全量抽取时若单表数据量超过500GB，可能存在哪些性能瓶颈？如何通过技术手段优化抽取过程？针对增量抽取，请列举三种以上识别增量数据的方法，并分析各种方法在数据一致性、系统开销和实现复杂度方面的差异。

当数据源为API接口时，如何处理分页机制、速率限制和认证过期问题？请设计一个支持断点续传和错误重试机制的API抽取模块，需包含关键类图或伪代码说明。若API返回嵌套JSON结构，如何将其映射为关系型数据模型？请举例说明处理数组嵌套和类型转换的具体方案。

在实时数据抽取场景中，如