基于SSD的Kafka应用层缓存架构设计与实现-第1篇.docxVIP

? ? 基于SSD的Kafka应用层缓存架构设计与实现 ? ? Kafka在美团数据平台的现状 Kafka出色的I/O优化以及多处异步化设计，相比其他消息队列系统具有更高的吞吐，同时能够保证不错的延迟，十分适合应用在整个大数据生态中。 目前在美团数据平台中，Kafka承担着数据缓冲和分发的角色。如下图所示，业务日志、接入层Nginx日志或线上DB数据通过数据采集层发送到Kafka，后续数据被用户的实时作业消费、计算，或经过数仓的ODS层用作数仓生产，还有一部分则会进入公司统一日志中心，帮助工程师排查线上问题。 目前美团线上Kafka规模： 集群规模：节点数达6000+，集群数100+。 集群承载：Topic数6万+，Partition数41万+。 处理的消息规模：目前每天处理消息总量达8万亿，峰值流量为1.8亿条/秒 提供的服务规模：目前下游实时计算平台运行了3万+作业，而这其中绝大多数的数据源均来自Kafka。 Kafka线上痛点分析核心目标 当前Kafka支撑的实时作业数量众多，单机承载的Topic和Partition数量很大。这种场景下很容易出现的问题是：同一台机器上不同Partition间竞争PageCache资源，相互影响，导致整个Broker的处理延迟上升、吞吐下降。 接下来，我们将结合Kafka读写请求的处理流程以及线上统计的数据来分析一下Kafka在线上的痛