美团大数据面试题及详细答案.docxVIP

美团大数据面试题及详细答案

一、基础必考题（高频，入门门槛）

1.题目：美团每日产生海量外卖订单数据，如何保证数据采集的准确性和实时性？

详细答案：核心是“分层采集+校验兜底”，结合美团实际业务场景来做，不搞虚的：

首先，实时采集用Flume+Kafka组合（美团内部主流方案）：订单产生时，通过业务系统埋点，将订单ID、用户ID、商家ID、配送地址、金额等核心字段，实时推送至KafkaTopic，Flume负责采集业务日志（如骑手接单日志、用户取消订单日志），避免单点故障，配置主从节点，确保数据不丢失。

其次，准确性校验分3层：①字段校验，采集时过滤空值（如用户ID为空、订单金额为负），通过正则校验手机号、地址等格式；②一致性校验，对比业务库（MySQL）和Kafka中的订单数，每小时做一次增量对账，若出现偏差，触发告警并重新同步；③异常值校验，结合业务场景设置阈值（如单订单金额超过1000元、配送时长超过2小时），标记异常数据，后续单独核查（可能是恶意下单或系统bug）。

最后，实时性保障：Kafka分区合理分配（按区域分区，如北京、上海各自分区），减少数据倾斜；Flume优化采集频率，避免批量积压，核心订单数据延迟控制在10秒内，非核心数据（如历史订单统计）延迟控制在1分钟内，满足业务实时监控需求（如骑手实时调度、商家订单实时查看）。

2.题目：什么是数据倾斜？美