2025年高频etl大数据工程师面试题及答案.docxVIP

2025年高频etl大数据工程师面试题及答案

ETL流程设计中，如何平衡实时性与资源消耗？实际场景中，实时ETL常面临数据延迟与计算资源的矛盾。例如某电商大促期间，需每分钟更新订单数据到数据仓库支撑实时报表，但直接增加计算节点会导致成本飙升。解决方案需分阶段：首先通过流批一体架构，用Flink处理实时数据流，设置合理的checkpoint间隔（如30秒）降低资源占用；其次对非核心数据（如物流状态）采用小批量聚合（每5分钟），减少Shuffle操作；最后结合资源弹性扩缩容，在流量高峰自动增加TaskManager实例，低谷期释放。测试时需用JMeter模拟百万级TPS流量，观察延迟是否控制在2秒内，同时计算资源利用率是否高于70%。

数据清洗中遇到非结构化日志的多模式解析问题如何处理？以用户行为日志为例，常见格式包括JSON、埋点自定义字符串（如“event=click|page=home|time=17:30”），甚至混合格式。需分三步处理：第一步用正则表达式提取公共字段（如时间戳、设备ID），第二步根据日志来源（App端、H5端）分类，为每类日志定义解析规则（如App端用JSON解析器，H5端用字符串分割），第三步通过UDF（用户自定义函数）处理异常格式（如缺失字段时填充默认值“unknown”）。实际项目中曾遇到某批次日志因埋点错误导致“page”字段为乱码，通过预先定义的校验